无盘PC

自从上了万兆,把PC上的硬盘拆到nas上,让PC变成无盘的计划就开始执行了。真正的无盘需要 PXE,然而,同时也意味着现有的 NVMe SSD 成了摆设,因为上文提到的,我的 nas 因为主板关系, pcie 通道不足,无法插 M.2 了。所以现有的 ssd 还是继续在主板上服役。M2 只是一个非常小的接口, ssd 插上主板后和主板融为一体了,所以,姑且就算是主板自带的存储好了,如果只有 nvme 那也可以算无盘。 既然保留了 nvme,那么无盘的工作就简单了,只需要将个人文件 aka /home 目录放到 nas 上通过网络访问即可。由于在完成拷贝之前我就已经迫不及待的把硬盘插上 NAS 了,因此最初的无盘,我使用的 iSCSI。 将 pc 原本的 4T 硬盘通过 iscsi 共享给 pc 自己。连 fstab 文件都不需要修改,因为 iscsi 连上去的磁盘居然还是 /dev/sda 。就好像只是换了一个 sata 口插一样的方便。 但是, iscsi 只是 sata 线的替代品。我真正的目的,是要让我的数据全部由 ZFS 保管。只有 ZFS 才能让我感到安心。 因此, 8T 氦气填充盘到了后,我就开始了乾坤大挪移。rsync 拷贝了数T的数据,把 旧硬盘上的数据全部转移到了 8T盘上的 ZFS。 然后格式化旧盘,将旧盘作为 mirror 和 8T 的盘组成 raid1。 4T 和 8T 怎么组 raid1? ...

April 26, 2019

NAS 的 pcie 短缺问题

万兆网卡到货后,迫不及待的插上主板开机。 当时就注意到了一个问题,怎么有一个 SATA 控制器变成了 2port controller 了。也就是说只有6个 sata 口了。 然后和 pc 开始 iperf 测速。发现速度居然只有刚刚超过 2Gbps!!! 什么鬼? 然后把 pc 上的那个卡换了个插槽,换到 pcie x16 的显卡插槽上了。原来是我这个卡放到了最后一个 pcie 2.0 x2 的插槽上(物理形态是 x16) 再测,发现速度也是在 4Gbps 上下。然后进 nas 的 bios 发现, 我去!坑死我了。 原来这个主板的 pcie 和 sata 是2选1通道的。 配置模式是 pcie x4 + sata x4, pcie x2 + sata x6, 或者 sata x8 但是禁用 pcie . 我去,原来我只能折腾4盘位nas! 一开始是 sata x8 但是只要 pcie 上插了卡,默认就是 pcie x2 + sata x6 模式。手动调节为 pcie x4 + sata x4 模式 后进系统, 果然达到了 9.4Gbps 的速度,然后改了 MTU 到 9000 就变成了 9.8Gbps 的速度了。 ...

April 23, 2019

10Gbps 家庭云存储

在万兆内网达成后, 终于到了最重要的环节了,就是搭建一台支持万兆网络访问的 NAS。 首先问自己一个最重要的问题:我家里有矿吗? 显然,没有,所以,一切都要以够用为目标,而不追求高大上。 所以,显然这次万兆够用为主,量力而行。 第一个选择就是主板。主板我花了超过一周的时间去寻找,对比各种方案。 当时的方案有3个: 方案1:集成 Atom C3558 的主板。有ASRock和超微两个牌子都有提供。 方案2:集成 Xeon D2123 的主板。 方案3:使用 Ryzen 200GE 和 B450 主板。 方案1 是因为主板提供了 pcie x4 的插槽,并且有 8 个 SATA 口(后来发现是个坑) 方案2 是以为主板已经集成了万兆网卡。 方案3 是因为毕竟是正常的桌面PC(虽然是低端的)有充足的扩展性。 最后方案3被 PASS,因为发现需要 ECC 内存。 方案2 因为主板价格超过五千被 pass。 然后是选定方案1, Atom C3558。 选方案1 是因为发现群辉8盘位的 DS1819+ 也是 Atom C3538 的方案。比 3558 还稍微渣了一丁丁呢。 而 DS1819+ 售价超过 8000 呢。 虽然犹豫了一阵子,不过最后买了超威的 A2SDi-4C-HLN4F 这个款的主板,集成 C3558 cpu。CPU 被动散热,TDP 25w,花了 2333. 然后就是最糟糕的,选机箱上了。 因为家里有个小机柜,所以希望买个2U 高度的8个热插拔盘位的机箱。结果发现了一个严重的问题, 2U 高度的机箱,要么4盘位短机箱,要么8盘位长机箱。而长机箱是放不进去我的小机柜的。无奈买了个3U高度的。8个热插拔的机箱,长度40cm,再长点就要顶我机柜后盖了。价格 720 但是运费 60 。。。。 ...

April 22, 2019

多WAN平衡

曾经我也搞了两条宽带,见 使用邻居的CMCC网络 。 然后利用路由器的loadbalance就可以使用多条线路了。 但是,问题恰恰在这里。效果并不好。因为2条宽带并不是一样容量的,对同一目标的访问速度也不尽相同。所以退而求次,选择了只把某些 cmcc 访问速度更快的目标通过 邻居网络出去。 虽然我换了一个城市,然后选择了CMCC,也没有破解邻居的电信宽带wifi密码。但是多年前的失败经历还是让我感觉需要某种自动的机制自动的探测目标网络使用哪条线路是最快的。 这就是 smartproxy 的了。

April 4, 2019

内网万兆达成

千兆用几年了? 从我拥有的第一台电脑起,主板自带以太网口就是千兆的。十几年过去了,主板自带网口依旧千兆。 千兆网和 1366x768 一样,都是业界毒瘤,停滞在一个“够用” 的幻想里止步不前。 为了打破这个幻想,我最终决定,将家里的内网升级为 10G 光以太网。 为啥用光纤呢? 主要是我的 PC 所在的位置,距离 86网络端口面板有数米的距离,中间如果使用网线会非常的碍事。 所以我买了个 86 面板的 AP 把原来的网络端口面板替换了。然后 PC 再上一块 wifi 网卡即可。 无线代替了有线。虽然链接速度显示为 1733Mbps 但是实测速度只有 600Mbps 而已。 虽然不够用,但是我更不希望一条网线拖过去。 就这么用了几个月,突然间,我发现了一种叫“隐性光纤” 的神器。有了这个,就可以把隐性光纤沿着墙角落走线到 PC,不就解决了难看碍事的问题了吗? 但是,既然上了光纤,就不能继续千兆了,当然要万兆才行。 兵马未动,粮草先行。买设备升级前,首先解决布线问题。 于是买了 隐性光纤。然后开始换线。买了条新的网线,然后把新的网线和光纤一起绑在开发商装的网线上,然后从弱点箱抽,非常的困难,最担心的就是把线拉断在中间了。 虽然过程很艰难,但是最终把隐性光纤给换进去了。做好了以后,就是 86 面板AP 的边上还抽出来了一个细细的透明的钓鱼线一样的光纤,然后沿着墙角走线(透明胶大法)一路通到了 PC。另一头也已经从弱电箱出来放到网络机柜的边上了。 第一步就算完成了,证明开发商虽然黑心,但是好歹线还是有用管子布的。。还是能换的,虽然很难抽。。。。 但是,这么难抽,有没有把光纤拉断呢? 于是买了红光笔和冷接套装还有万兆网卡。 开始接 SC 头。 冷接真的是个技术活,但是我最终搞定了。隐形光纤有2层皮,最外层是一层软塑料。用米勒钳的第二个口就可以剥掉。然后露出的裸纤我当时就直接上冷接头了。。还很纳闷为啥切割刀无法切割。我改用网线钳去切光纤了。。。。。 最后最好的线红光笔一测,怎么光点这么弱!? 结果是错误的,要再剥掉一层。用米勒钳的第三个口剥离。当时我直接用第三口剥发现一切就断了。还以为是他第三口洞太小了。原来是要先用口2剥第一层,然后用口3 剥最后一层。 最后最后才真正的露出了内层玻璃纤维。 这个玻璃纤维放到切割器上真的一次就切的整整齐齐。 然后塞入冷接头。红光笔一测,发现和买的成品跳线一样亮了。 然后把路由器到交换机临时改插网线,把 SFP 模块借用给 PC 了。万兆网卡不出意外的兼容千兆光模块。 这样就实现了PC千兆光纤到交换机。 终于可以对 1733Mbps 的 wifi 说拜拜了。 冷接光纤学会了,自然就不怕了,然后开始选万兆交换机。必须是无风扇的交换机 这个是最大的一个问题,我最后停留在2个方案上。 方案1: 使用 MikroTik CRS305, 带4个万兆光口和一个千兆口。千兆电口支持 POE 受电,意味着只要插入原来的交换机上就可以立即工作了。 方案2: 使用华为 S1720-28GWR-4X 交换机。4个万兆口,24个千兆口,无风扇被动散热。没有 POE,意味着原先的交换机还得服役。 这两个方案都要原来的交换机继续服役,听起来是保护投资了,其实不然。 第一,交换机到交换机的带宽被限定 1G 可不是好事。第二,两台交换机还是占用了更大的空间,特别是方案2的话我其实不需要2台交换机给我扩充那么多端口。而方案1会有性能瓶颈。 ...

April 4, 2019

入DN42坑

近来把 家和公司三处地方的网络(2个家,乡下老家嘛)通过 tunnel 手段连接到了一起, 三个地方的 LAN 分配不同的私网网段,因此配置好路由表后,三处内网的机器就可以互相访问了。 最初我使用的是添加静态路由,但是因为 vpn 是使用的点对点互联,而不是首先集中连到一个转发服务器上,所以需要配置路由表的路由器数量达到了4台,比较麻烦,关键是期间我还修改过私网使用的网段,结果每台路由器都要登录上去修改路由表, 非常麻烦。 更为麻烦的是, 其中公司访问老家的 vpn 丢包比较大,如果通过家中的网路跳转访问, 反而更快。但是如果公司到家里的网络断开,还要希望自动的让他们之间的直链线路接手, 于是就折腾上了 OSPF 路由协议。 当然,最开始我是使用的 bgp 协议, 让3台路由器相互建立邻居,但是bgp的邻居要手动配置,稍微麻烦了点,所以改用 ospf 协议。 顺便还修改了 EdgeOS (Ubnt 的路由器使用的系统)让它支持配置 zerotier —— 是通过他内置的 configure 命令配置, 而不是 zerotier-cli 命令, 这样就可以在 Web GUI 上为 zerotier 虚接口建立 ospf。 基本上 EdgeOS 就是 Debian Linux + Perl configure script. 所以,其实 EdgeOS 是可以移植到 x86 软路由上的。不过x86软路由可以直接使用 VyOS。^_^ 有了 动态路由协议,我只要设定老家到公司的vpn链路开销是 200, 而老家到家的开销是 80 , 家到公司的开销是 80, 通过家中转访问的开销则只有 160,于是 ospf 的选路算法就会使用中转代替直联的那条vpn线路。如果中转的线路不可用, 则回退到直联模式。 ...

March 11, 2019

拿到了移动宽带的公网IP

闻觉 CMCC 手握 HKIX 宝剑, 想必连 HK 节点的 VPN 访问世界一定更快。世界的一部分一般在 HK 本地也有 CDN 节点,因此多数时候并不需要再从 HK 去世界绕一圈。于是买新房后,就办理了免费的CMCC宽带。不再向恶势力CT低头了。 美中不足的是 CMCC 手头 ip 资源紧张,早早部署了 CGNAT,再经过猫一层 NAT,路由器又一层 NAT,访问个局域网都要3层NAT,再访问世界那就加1层VPN的NAT,达到了恐怖的4层NAT。 于是第一件事情就是猫给改成了桥接模式,让路由器拨号。 猫就应该好好的做简单的光电转换的事情,搞什么非要把路由器的活也干了。这样下去TP-Link 岂不是要倒闭? (虽然我不用 tp 的东西就是了) 才少了一层NAT,还是深感不舒适。 特别是当需要从办公室连回家中的时候,只能靠服务器中转,明明在同一个城市,敲击键盘的每一个数字却都要绕地球一圈。 NAT 破坏了网络的连接性,阻碍了 ipv6 的进程, 实在是十恶不赦。 传统的NAT只是部署在家中,家里的NAT设备尚在用户掌握之中,大不了爬起来去路由器上敲击几条命令建立端口映射。 但是 CGNAT 就是完完全全的罪恶涛天了。试问,一个只能打电话不能接听电话的手机,还叫手机吗? 这辈子都不曾接过电话的人,总是觉得,能打电话就行了,接不到电话有屁关系。 呵呵,你接不到电话,为了联系你,别人背后不知道做了多少工作,付出了多少成本!这种话,就好像一个生活在首都久了的人,没见过战争,就觉得别人去当兵去边疆守卫国家都是傻逼。 但是没办法,ip地址不够,NAT 还是必要的,但是尽量让 NAT 只位于家中一层而已吧,运营商不要搞NAT了! CMCC 的宽带因为是送的, 直接打电话找它要是肯定没有的,人家宁可拆机也不会给你公网地址。 所以想着,再办一条CT的宽带得了。只是一直没有行动,一是入户光纤乃开发商预埋,只有一根, 二是懒。 因为只要思想不滑坡, 办法总比困难多。 忽然有一天,闲的无聊跑了一下 speedtest。其实一直都有跑,只是都没在意网速。那天就特别在意起来了,发现网速不达标。一直不达标。 于是打了壹卍零捌拾陆。 第二天修宽带的师傅就上门了。 给他演示了一下,首先是 speedtest 测速,速度忽快忽慢。 接着,禁用 ipv6 然后访问 http://mirrors.zju.edu.cn/ 下个iso,速度只有 50M,开 ipv6 访问, 速度 100M。 ...

March 1, 2019

IPv6 这几天的体验

如果只是家里折腾上了 ipv6 那不算 ipv6。网络这种东西一定要互联互通才算。最近把公司的猫也折腾了一下下,上了 ipv6。 于是发现,在公司可以无缝访问家里的设备了。全部都在公网,无需端口映射之类的东西了。当然,家里也没有公网ipv4地址,映射了也白搭。 有了 ipv6 后,发现所有的机器都突然没有了 NAT 墙。那一道无形中把整个世界割裂的墙消失了,只要知道 ip 地址,所有的设备都可以点对点互相访问。 终于,端到端的透明性回来了。 然而问题来了,因为每个设备 ip 不一样,以往一台机器弄个DDNS就好了,现在需要每台提供外访的机器都要跑一个 ddns。要是路由器能为局域网的机器批量更新 AAAA 记录就好了。

February 13, 2019

折腾 NAT64 实现 ipv6 only 内网

一直以来,虽然启用了 ipv6, 但是都是以 Dual Stack 模式运行。 你不知道,是服务器端不支持 ipv6 呢,还是客户端不支持,亦或二者皆有之。 而且Dual Stack虽然解决了互联问题,但是看起来非常的丑陋,多个协议一起跑什么的,才不要呢! 于是就有了搞 IPv6 Only 的想法。为了解决互联问题,还需要一台翻译的设备执行 NAT64。 所谓 NAT64 就是让一台网关充当 ipv6 和 ipv4 的桥梁,把 ipv4 主机模拟成 ipv6 主机,供 IPv6 Only 的主机访问。 之所以可以这么做到,是因为 ipv6 拥有巨大的地址集。只要其中拿一小部分出来就可以包含所有的 ipv4 地址了。可以做到 ipv6 地址和 ipv4 地址一一对应,然后为这个一一对应执行 NAT 转换。 只需要一台网关设备提供 Dual Stack 即可,LAN 内的机器都只要 IPv6 Only 了。 要实现 NAT64 , 首先 需要 DNS64 的帮忙。 何为 DNS64 ? 要让 ipv4 的机器被访问到,首先需要他被转换为 ipv6 地址,做到这一点的就是 DNS64 。 当向 DNS64 查询 dns 的时候,dns64 会检查域名是否有 AAAA 记录,如果有,就用他自己的 AAAA 记录里的 ipv6 地址,客户端就可以直接访问了,完美。 如果他没有 AAAA 记录,但是有 A 记录,就把这个 A记录里的 ipv4 地址给转换为一个 ipv6 地址,然后返回这个假的 AAAA 记录。 ...

February 13, 2019

中国移动原生IPv6配置

上峰拍了桌子, 要求 2018 年底之前商用 ipv6. 移动响应非常积极,已经可以用了. ipv6 带来的第一个好处就是削除了NAT, 对万恶的私网ip地址说再见! 在继续之前,首先讲下,ipv6 同 ipv4 在配置上的不同。 对于家庭宽带,ipv4 是 pppoe 拨号的时候自动配置的。isp 给且仅给一个 ipv4 地址。 如果有多台设备需要上网,就需要使用一种叫 NAT 的技术进行网址共享。由于NAT隐藏了内网的细节, 在 isp 看来,所有的数据都是来自同一个 ip 地址的. 因此isp和家庭网关之间不需要什么路由协议. 但是 ipv6 得益于超长地址,不再需要节约地址了,于是内网仍然分配全球可路由地址. 这个时候, isp 其实就需要分配两次地址,一次是给家庭网关的WAN口,另一次是给家庭网关的 LAN 口. 第一次分配,给 WAN 口分配, ipv4 和 ipv6 是一样的. 都是在 PPPoE 拨号完成后动态分配. 只是, ipv4 时代, LAN 口地址是固定的一个内网地址. 而 ipv6 时代, 即使 ip地址再丰富, 运营商也不会给用户分配固定的 ip 地址, 因此, 需要一种 动态的给 LAN 口分配地址(准确的说是分配前缀)的协议. 这个协议就是 DHCP-PD. LAN 口分配好前缀后, 整个子网就分配下来了, 至于这个子网里哪个机器用哪个地址, 那就和 isp 没有关系了. 而且实际上 isp 下发子网前缀后, 路由器其实是可以把 下发的子网再细分的, 这个适用于有多个 LAN 的情况. ...

December 18, 2018

高并发服务器的静态内存分配策略

asio 的 async_accept 函数在高并发的时候,会发生遗漏 accept 的情况。根本原因在于,async_accept 回调的时候,已经 监听的socket已经没有执行 accept 操作了。 解决的办法就是投递多个 async_accept. asio 的 async_* 系列 函数通常只能投递一次,多次投递会发生未定义行为。async_accept 是为数不多的例外。 通常在写一个 server 的时候,client 是采取 accept 一个就 make_shared 一个的做法。对于大量频繁的连接请求,make_shared 很快就会成为新的瓶颈。 在读 beast 的 example/http/fast_server 的时候,发现了 beast 对这个问题的解决方案,非常的聪明。 beast 的做法就是,固定的 client 对象。每个 client 自己投递 async_accept 请求,把自己的 socket_ 投递给 async_accept。 async_accept 返回后, client 就对自己的 socket_ 执行处理, 该 read read,该 write 就 write。 直到这个 client 的请求全部处理完毕,连接也 shutdown 后, 它就再次投递 async_accept 进入下一个循环。 在这个模式下,client 对象并没有被不断的 new 出来。 client 对象的数目是固定的。他利用了 async_accept 可以多次投递的 feature。 在超大量的请求下,该模式始终不会产生频繁的内存分配和释放请求,不仅仅加快了速度,而且也极大的避免了内存碎片。 ...

October 25, 2018

挖矿与创新

所谓挖矿,就是寻找一个随机数,是的区块头部和随机数结合后的 sha256 数值小于一个特定的目标数字。 对于哪一个随机数能找到答案,没有人知道,也没有捷径,唯一的做法,就是一个一个的去试。 比特币诞生也有9年了,9 年来,不断的有人尝试寻找捷径,但最终都没有找到,只能依靠暴力穷举随机数。 只要尝试的次数足够多,参与尝试的矿工足够多,大约每十分钟总会有一个幸运儿找到这样的随机数。 当他找到的时候,他将获得巨大的回报。 而当难度越来越高的时候,就有了矿池,为矿池工作的矿工,即使找到了,也只是获得平庸的奖励, 但是没有找到的矿工,同样获得了奖励。 其实所谓创业,也是如此。没有人知道下一个独角兽会诞生在哪里。所有人都在无方向的试错。但是每隔一段时间,就有 一个人会找到那个正确的方向,获得巨大的奖励。 而当创业难度越来越高的时候,就有了公司。集合大家的力量去尝试寻找正确的解。 所以创业成功,就和挖到比特币一样,没有什么秘诀。正如挖矿的算力越来越集中一样,创业也越来越成为少数人的特权。

June 10, 2018

换用wireguard

之前把家里网络 重新折腾 了一下, 用的是 走socks5 代理的 tcp 协议 openvpn. socks5 代理由 shadowsocks 提供. 不过, 最近偶然在 LWN 发现了 wireguard 这个新型 VPN, 于是盘算着用起来看看效果. 结果一不小心, 发现了vyatta-wireguard, 这个可以让我的路由器也能用 wireguard! 于是按照它的文档配置到了路由器上, 然后VPS那边也配置下. 只是把路由器表里, vtun0 换成了 wg0 就好了, 其他的不需要换. 完了之后测试了一下速度, 比 openvpn 的时候快了很多. 毕竟 UDP 嘛. vpn 这种东西还是适合 UDP 而不是 tcp 的. 而且在跑流量的时候, ping 的延迟不会增加. 如果是 tcp 则会因为发送窗口的关系, ping 的延迟会因为流量增加而迅速增加. 对网络的体验极其不好. 当然, udp 模式的 openvpn 其实也可以, 只是 openvpn 已经被墙识别了, 不可能直接用 openvpn 啦. wg 毕竟新鲜事物, 到墙能识别故意要很长一段时间了. 这段时间内都可以安心的啦. PS: 一开始担心机房屏蔽 UDP 包, 结果发现可以愉快的跑, 担心是多余的啦.

March 20, 2018

UPS和直流供电的思考

为了在网络断电后还能使用, 我曾经给路由器配置 12v 直流 UPS. 但是, 随着我的网络扩展, 出现了更多的设备, 而且这些设备不再是12v电压供电的了, 而是出现了 24v 和 54v 供电的设备. 同时, 12v 供电的设备也增加了, 原来的 UPS 容量就显得捉襟见肘了. 我继续要对 UPS 进行一次升级. 一劳永逸的解决方式, 其实是直接购买普通的 220v 逆变输出的 UPS. 但是, 生命在于折腾, 而且, 这种 UPS 效率很低, 因为 DC 经过一次逆变后, 还有再变压直流, 其实这中间的转换就属于脱裤子放屁多此一举, 除了带来毫无意义的能源损失. 除非用电设备是非交流电不能的, 比如 单相异步交流电机 然而我的设备里, 即使是网络存储器的散热风扇, 也是 12v的直流风扇而已. 所以, 直接购买UPS显然不够极客, 也不适合节能减排的今天. 当然, 我也可以继续扩容 12v DC UPS. 多并联几个就好了. 然后使用 12v -> 24V 和 12v-> 48v 的 DC/DC 变换器来解决使用其他电压的设备供电. 但是这样做会有2个问题, 第一个问题是, 这种寨牌的成品UPS并不能水平扩容. 第二个问题则是, 又要引入许多电压转换, 带来能源损失. 本身电池储能就有限, 不能肆意铺张浪费. ...

March 5, 2018

网络重新配置

一直以来, 我用的都是基于 ss-redir 和 ipset + iptables 透明代理方式的科学上网. 但是 iptables 方式的上网, 其实还是不如 ChinaRoute 配合 VPN 来的爽. 因为只有 TCP 连接能被透明代理出去, UDP 和 ICMP 协议统统不能. 但是 openvpn 这种协议实在是太过招摇, 所以早就被方校长盯上了. 不可不可. 后来, 我想到了openvpn 可以透过纸飞机的代理再去连接远程服务器, 这样一来, 就解决了 openvpn 过墙问题. 于是直接在服务器上安装 openvpn 然后设定为使用 tcp 协议, 监听 127.0.0.1 地址. 然后在路由器上配置 openvpn , 只要配置文件里设定 socks-proxy xxx:1080 , 然后 remote 为 127.0.0.1 1189 就好了. 因为路由器是 ubnt ER-X, 自带 openvpn , 只需要自己编译 ss 就好, 不过因为最近买了个 群晖的 NAS, 于是懒得折腾交叉编译 ss 了, 直接在 NAS 上用 opkg install shadowsocks-libev 安装了纸飞机. 路由器上使用 NAS 上的 ss 代理就好了. ...

February 22, 2018

Immutable, RCU and Transnational Container

在编写并发程序的时候,经常要面对共享数据结构的保护问题。 虽然 C++ 提供的 RAII 实现的各种 guard lock 模式,早就让“忘记解锁” 导致的死锁成为历史。但是,锁带来的性能损耗依然是我们不得不面对的问题。 为了避免锁带来的开销,使用“无锁” 的数据结构似乎是个好主意。 然而事情的发展总是出乎所有人的意料。现代的多核CPU随着核数的越来越高,核与核之间的通信开销也变得越来越大。于是,所谓的“无锁” 容器,因为内部大量的“原子操作”变得越来越不适应于当前的时代。 不使用原子操作,又想大并发,又想安全,唯一能想到的,就只有“不修改” 了。 只读的数据,永远不需要锁的保护。这也是为何当下的程序员越来越青睐函数式编程。 然而,只有 const 没有 variable 的程序是根本不可能的。程序要运行,就得有变化。有变化,就不能使用只读的数据结构,不能只读,还是少不了要上锁。一锁,就离高性能大并发越来越远了。 有没有既可以修改,又可以无锁,还不需要使用原子操作的办法呢? 当然有啊,就是 RCU。但是 RCU 的局限性非常大,具体的来说就是,因为其赖以实现的原理导致了 RCU 只能是 list 容器。不能实现为更高效的 vector 和 hashmap 容器。 RCU 先修改 关联节点的 next/prev 指针,使得 后续的读者,会跳过当前要操作的节点,然后等待一段时间后, 释放节点。这样,读可以全速并发进行。无需任何锁的介入。而只有 list 容器,才能在不使用原子操作和锁的情况下,安全的 Detach 掉一个节点。map 容器,因为要对 tree 重新排序,无法实现成 RCU 操作。 即使 RCU 的读取速度再怎么好, list 就决定了,它在大元素量下注定的低性能。因此 rcu 即使在内核里,使用的也非常有限。只用在为数不多的 “读远大于写,而且容器元素不多” 的地方。 这个虽然不是 RCU 的问题,而是 list 的问题,但是 RCU 注定只能使用 list。 有没有办法让我最喜欢的 map/set/multiset/multimap/boost.multiindex 都能并发化呢? ...

January 27, 2018

C++ 是最好的编程语言

好的语言是怎么来的? 有人说, 是设计出来的, 有人说, 是抄出来的. newbie 说, 是实践来的. 什么是实践呢? 实践, 就是摸石头过河, 吸收合适的, 抛弃不合适的. 这不就是进化吗? 正如好的物种是进化来的一样, 好的语言也是进化来的. 物种的进化, 首先是要适应已有的环境, 然后才是展望未来, 设法适应未来的环境. 即使某些功能器官已经不再需要, 仍然保留着进化的痕迹. 进化是不可逆的. 如果一开始因为环境因素, 进化出的生物特性在后来的环境变化中是非常有害的, 进化却不能推倒重来. 只能继续在这个不利的基础上改进. 认识到这一点, 再回过头来审视 C++ 语言. C++ 语言的许多缺陷, 来自对 C 的兼容, 或者确切的说, 是因为从 C 语言开始进化的, 对C的兼容, 就是进化的痕迹. 进化不能推倒重来, 只能在 C 这个不利的基础上改进. 但是, C 的不利, 是站在今天的角度看的. 在当时, C 是最成功的语言. 兼容 C, 是最有利于发展的. 从 C 开始进化, 在当时就是最好的选择. 而进化, 就是当年最优秀的物种才得以继续发展演化. C 当年是最好最成功的语言, 那么进化就会发生在 C 的身上, 而不是其他语言的身上. 正如远古的猿类进化成了人, 同时也进化出了猴子一样, 远古的 C 语言进化出了 C++, 也会有顽固分子选择止步不前, 就有了现在的 C. 猴子当然不如人, 但是猴子也会存在. 所以 C 会继续存在. 但是真正的发展是看C++的. ...

November 4, 2017

不停机迁移

设计一套系统的时候, 最初的数据库结构总是不能适应未来业务的发展变化。经常需要调整数据库的表结构以适应新的业务需求或调整逻辑结构。 为此,需要让系统能支持不停机迁移。不停机迁移,用户0感知的,完成数据库升级。要做到这点,首先要做到程序本身的热更新。 如果是 php 之类的脚本语言编写的服务器端程序,热更新实现起来倒也轻松容易。但是既然是我这个c++佬出来写文章, 一定是关注的c++编写的服务器端程序的热更新。 systemd 提供了一个热更新的新思路。就是让 systemd 持有 listen socket。然后fork出服务进程。 进程重启, listen socket 并没有销毁,因此用户依然可以在进程关闭期间发起连接。期间创建的连接,在进程启动后会被处理。 用户唯一能感知到的就是重启期间处理有一定的延迟。 支持 systemd 的 sccket activation 就实现了热更新的第一步。 接下来才是重点。使用 socket activation 的必然要求就就是重启迅速。新进程要迅速完成启动准备,并进入服务状态。连接总是被 hold 住,响应不及时,用户看来也是停机。 如果要修改数据库结构, 重启时就是修改的时机。这就要求,对数据库 schema 的修改必须要立即完成。 那么,什么样的操作能立即完成呢? 增加一个允许 NULL 字段。 删除一个字段。 重命名一个字段。 删除一个索引 创建一张新表 什么样的操作要避免呢? 增加一个非空字段 新建一个索引 并非所有的操作都要安排在程序重启期间进行。可以在重启前就执行。这就要求,对数据库的修改,必须保证旧程序代码兼容。如果不兼容,就首先热更新一个能同时兼容 旧库和(即将更新的)新库的程序。接着更改数据库。使用这种方式,可以放宽一个要求, 就是只要不(长时间)锁表的操作,都可以进行。例如,pg 的并发新建索引。

June 19, 2017

使用异常实现cache

异常用来做错误处理的时候,程序到处都是 try cache ,代码十分的丑陋,我是不怎么喜欢的,我喜欢 asio 那种用 error_code 汇报错误 —— 不传 ec 的时候就抛异常,传就不抛,改为写入错误到 ec。 但是,异常用来做流程控制,又特别的好用。流程控制,无非顺序、选择、分支和循环。在 c++里,又比 C 多了一个异常。在嵌套很深的地方,跳出逻辑,除了异常,就没有其他更好的办法了。 在编写软件的时候,时常需要对一些数据做 cache。在使用的时候,要先检查 cache,存在则使用 cache ,不存在则按照老办法办,然后存入 cache。 每次使用前都进行判断, 污染了快速路径的代码,对有简洁洁癖的程序员来说,内心是十分的纠结的。 这个时候, 你就需要 异常。将 cache hit 作为正常的流程进行编写, 假定全部的数据都是在 cache 里的。这万一发生了 cache miss , 则抛出异常,并在异常处理重新载入数据。然后重启处理。 说到重启处理, 在 Windows 的 SEH 里,存在 EXECEPT_CONTINUE_EXECUTION 这个异常处理的结果, windows 看到异常处理函数返回这个,就会回到发生异常的地方重新执行。然而这毕竟是一个 Windows 系统特有的 SEH , 而且依赖底层CPU提供的机制。 编写C++是断然不能使用这套机制的。 思考的最终结果,就是下面这样的结构 for (int =0; i < retry_times ; i++) { try { auto v = cache_map_sometype.get_cache(key); // process with v .... ........ } catch(cache_miss&) { // load v from other resources, database, filesystem, network, etc. ...... cache_map_sometype.add_cache(key, v); contine; // NOTE about this. } break; } 在正常处理流程里, 执行到最后会有个 break 退出 for 循环。所以 for 循环在 cache hit 的状态下只执行一次。在 cache miss 的时候, catch block 里最后有一行 continue 。 于是就重启处理过程了。 ...

April 9, 2017

免费版的 PrimoCache

去年DIY一个 NAS. 其实就是台 MINI PC. 自带一个很小的 mSATA SSD 用来装系统, 然后外接了一个大 HDD 做存储. 问题在于, 这个 大 HDD 是渣机械, 一开迅雷, 硬盘就被 100% 占用! 然后导致整个 OS 响应迟缓. 然后因为 HDD 写入速度不足, 导致迅雷下载速度 0 . 磁盘疯狂写入. 后来下了一个 PrimoCache ( 以前叫 FancyCache ) 后, 问题解决了. 然而只有 60 天试用期. 60天过去了, 我又得回到原来的老状态了吗? 非也! 我发现了一个叫 StarWind 的 iscsi software target. 只要装了 StarWind 就可以把 PC 变成一个 iscsi 的目标存储设备. 接着, 因为装的是 Windows Server 2012 R2 系统, 所以是自带了 iscsi 发起程序的. 于是把 127.0.0.1 的目标连起来. 于是写入路径就变成了 本地磁盘 D -> windows iscsi -> 本地网络 -> StarWind -> 原本地磁盘 D ...

February 10, 2017