epyc deployed

去年的 这篇文章 里我受够了嵌入式 ATOM 处理器羸弱的性能而斥巨资购买了 锐龙 5600X 作为新的NAS机器的处理器。然而好景不长,这个新NAS才服役不到4个月,就被我嫌弃了。在这篇文章 的结尾,我提到了 EPYC 的精髓在单路 这句话。 这竟是我抛弃第二台NAS的导火索。 起初,我购买 NAS 只是为了做一个下载机。开个 Download Station 下下高清的片子。后来我希望它能承载更多的任务,然而 A53 + 512M 的平台,无论如何无法承载更多。于是就有了第一台NAS。原谅我甚至不把那台DS216j看成第一台NAS。 最初第一台 NAS 没有远见,机器毫无扩展性。甚至初期只用4个盘。但是好歹也有了大容量。也能突破千兆的瓶颈了。 用了一阵子后,受不了 atom 的性能而进行了更新。 第二台NAS性能非常棒。毕竟 zen3 架构,单核南波万。也正是因为他巨大的性能提升,导致我不只是把它当NAS了。他成了我的私人服务器。不仅仅运行 samba 共享,还运行多媒体服务,还运行 nextcloud 私人备份,当然跑 bt 下载也是少不了的。 除此之外,他还对我公司的线上数据进行热备。算是一份异地灾备。 然后,还运行了多个区块链的节点 —— 什么比特币,以太坊,波场币,统统都跑一个节点看看。 这下完犊子了。由于使用的是 ITX 主板,只有2条内存插槽,导致内存最大就被限制到了64G。运行了那么多服务,内存开销自然是小不了。于是时不时的就看到 OOM 崩溃日志。 加了 SWAP 后算是缓解了OOM。但是 iostat 可以看到 swap 文件长期保持在 300M/s 的读取速度 —— 不用说,就是内存不够了,被大量的 drop 掉,然后又马上访问于是又得 swap in 。 内存不足,是一件迫在眉睫的事情。我至少需要 128G 的内存! 换成 matx 的主板固然可以低成本解决问题 —— 但是,128G 要还是不够用了咋办? 这可是 PC 平台 4条 DIMM 的极限容量了。再增加容量就只能上 64G 单条了。而64G单条又必须是Registered ECC内存,Unbuffered ECC不论如何都只有32G,再大没有了。 ...

March 28, 2021

升级了NAS机器

上次折腾NAS, 最后搞了8个8T的盘阵列。但是,我愈发的不满意 C3558 的性能。准备替换掉它。但是又觉得C3558花费巨大,没用回本实在不甘心。 最近几个月,zfs 频繁出现 checkcum error。但是诡异的是,总是 sda sdb sdc sdd 这4个盘出现。 感觉主板出了问题。或者是机箱的背板出了问题。不论哪个出了问题,都到了让C3558退休的时候了。 既然要退休,就要想好继任者。继任者在 MIPS (龙芯) ARM64(鲲鹏) 和 x86 里。有缺点都特别明显。 龙芯 优点 从 bios 到 内核 到 userland 整个都是开源的。方便折腾。 bios 可以通过串口访问。取消了 IPMI 的依赖依然可以不接显示器键盘进行配置 低功耗 当然,缺点也很大。第一个缺点就是性价比太低。然后性能也跑不满万兆网络。说不定还不如 C3558 呢。 鲲鹏 优点 arm 架构在 linux 里的支持度不亚于 x86. 比 mips 好太多。 性能足够,能跑满万兆 进行嵌入式开发的时候可以直接为开发板编译软件,不用在 pc 上配置交叉编译环境。 bios 依然可以通过串口访问。无需依赖 IPMI 除了性价比太低,么有特别的缺点 x86 的选择就大了,最终我在3个方案里选择。 方案1 intel E3 神U + ECC 内存 + SAS HBA + 万兆网卡 + 4U 8盘 380mm深度机箱。 这个是翼王使用的配置。缺点是他是牙膏厂的东西。吃了C3558的亏后不想用牙膏厂的东西,而且14nm的能耗比也差。 ...

December 18, 2020

10Gbps 家庭云存储

在万兆内网达成后, 终于到了最重要的环节了,就是搭建一台支持万兆网络访问的 NAS。 首先问自己一个最重要的问题:我家里有矿吗? 显然,没有,所以,一切都要以够用为目标,而不追求高大上。 所以,显然这次万兆够用为主,量力而行。 第一个选择就是主板。主板我花了超过一周的时间去寻找,对比各种方案。 当时的方案有3个: 方案1:集成 Atom C3558 的主板。有ASRock和超微两个牌子都有提供。 方案2:集成 Xeon D2123 的主板。 方案3:使用 Ryzen 200GE 和 B450 主板。 方案1 是因为主板提供了 pcie x4 的插槽,并且有 8 个 SATA 口(后来发现是个坑) 方案2 是以为主板已经集成了万兆网卡。 方案3 是因为毕竟是正常的桌面PC(虽然是低端的)有充足的扩展性。 最后方案3被 PASS,因为发现需要 ECC 内存。 方案2 因为主板价格超过五千被 pass。 然后是选定方案1, Atom C3558。 选方案1 是因为发现群辉8盘位的 DS1819+ 也是 Atom C3538 的方案。比 3558 还稍微渣了一丁丁呢。 而 DS1819+ 售价超过 8000 呢。 虽然犹豫了一阵子,不过最后买了超威的 A2SDi-4C-HLN4F 这个款的主板,集成 C3558 cpu。CPU 被动散热,TDP 25w,花了 2333. 然后就是最糟糕的,选机箱上了。 因为家里有个小机柜,所以希望买个2U 高度的8个热插拔盘位的机箱。结果发现了一个严重的问题, 2U 高度的机箱,要么4盘位短机箱,要么8盘位长机箱。而长机箱是放不进去我的小机柜的。无奈买了个3U高度的。8个热插拔的机箱,长度40cm,再长点就要顶我机柜后盖了。价格 720 但是运费 60 。。。。 ...

April 22, 2019