Spark本地跑CoarseGrainedScheduler

背景众所周知,分布式环境是很难debug,但又是必须的。本文主要目的是说怎样在单机环境下模拟分布式环境去跑spark的代码。公司的spark是跑在yarn上的,Driver用的是YarnClus...
  • 2019-8-6 21:09

蜗牛星际安装群晖

背景一直想搞台便宜的服务器放家里,挂个minecraft、饥荒的服务器,做个nas什么的可惜阿里的服务器太贵了;路由器、树莓派性能不好,也不是x86的感谢矿难,让我可以捡到蜗牛星际这样的垃圾我在...
  • 2019-8-1 14:35

极路由4pro 实时ddns

背景之前写了一个用crontab做ddsn的博文,缺点是每分钟只检查一次,这回来说说怎样做实时ddsn要想做到实时,就必须在os感知到ip变化时主动通知我们的程序,需要从内核态给用户态发送信息,...
  • 2019-7-30 17:05

使用Clion远程调试Postgres-xl集群

背景两年前我写过一篇用clion本地调试postgresql的文章:clion调试postgresql,但最近要对pgxl集群进行远程调试,原因是测试数据集太大,另外是要调试分布式环境,所以重新...
  • 2019-6-4 11:19

lab2 Raft

实验2: Raft2A 选主已完成2Ago test -run 2A Test (2A): initial election ... ... Passed -- 3.1 3 38 ...