高维shuffle

makedown不方便编辑表格,生成图片将就着看吧
  • 2020-3-9 17:52

Intellij IDEA调试SparkSQL在运行时生成的代码

插件下载地址:spark-debug-codegen.jar.zip安装步骤在plugin页面选择从本地磁盘安装插件,安装完后先不重启IDEA打开IDEA,在Help菜单编辑自定义属性(即IDE...
  • 2020-2-16 12:35

《不妥协:具有一致性、可用性和性能的分布式事务》部分翻译

第三节 编程模型和架构客户端开启线程时会作为事务的coordinator使用优化并发控制,修改是本地的,提交后才能被其他事务看到FaRM对成功提交的事务提供了严格的串行性保证对单个对象操作的原子...
  • 2019-9-8 10:58

Spark本地跑CoarseGrainedScheduler

背景众所周知,分布式环境是很难debug,但又是必须的。本文主要目的是说怎样在单机环境下模拟分布式环境去跑spark的代码。公司的spark是跑在yarn上的,Driver用的是YarnClus...
  • 2019-8-6 21:09

蜗牛星际安装群晖

背景一直想搞台便宜的服务器放家里,挂个minecraft、饥荒的服务器,做个nas什么的可惜阿里的服务器太贵了;路由器、树莓派性能不好,也不是x86的感谢矿难,让我可以捡到蜗牛星际这样的垃圾我在...