NAS 换 Gentoo

freenas 使用了一阵子,发现了几个严重的问题 软件严重缺乏 插件需要使用 jails 而 jails 的网络居然不能使用宿主网络必须桥接 桥接导致 mlx 驱动禁用网卡 tcp offload engine 不支持 RDMA,atom cpu 性能弱,无法跑满万兆带宽。 实际上很少使用 web 管理界面,多数情况下还是 ssh 上去直接敲命令 性能差 要想性能好,Gentoo 少不了。于是计划 nas 改用 Gentoo。首先要做的事情就是确保 Gentoo 可以使用 ZFS。 这个呢,我就先在自己机器上折腾了。首先重新编译内核,启用 zfs,安装好 zfs 工具,接着根分区的数据先备份,然后格式化为 zfs。然后拷贝回来。重启。完美启用 zfs。 具体的迁移步骤为: 首先进行规划,我的 nvme 盘有2个分区, nvme0n1p1 500M 为 EFI 分区。nvme0n1p2 117G 为 ext4 挂到 / 。首先使用 e2fsresize 命令缩小分区,然后在空闲的地方创建 nvme0n1p3 分区。 50G. 由于 liveusb 系统不支持 zfs,因此做完这些步骤后重启回原来的系统。 zpool create -o mountpoint=none -R /newroot Gentoo nvme0n1p3 命令创建一个池。 zfs create Gentoo/ROOT zfs set mountpoint=/ Gentoo/ROOT rsync -xav / /newroot 完毕后重启,设定 root=ZFS=Gentoo/ROOT 接着 zpool attach Gentoo nvme0n1p3 nvme0n1p2 命令,将原先的 ext4 所在分区直接以 mirror 模式加入 Gentoo 池。 等待 resilver 完成 zpool detach Gentoo nvme0n1p3 把 nvme0n1p3 这个分区分离出 Gentoo 池。 fdisk 重新调整分区,把剩余的空间重新划给 nvme0n1p2 zpool attache -e Gentoo nvme0n1p2 执行完毕后, Gentoo 池的大小就占满 nvme0n1p2 分区的大小了 这样 Gentoo 池就是 117G 大小了。ext4 无损切换为了 zfs。 ...

May 29, 2019

根分区 ZFS 化

自从用 freenas 接触到了 ZFS, 我就爱上了 ZFS , 变得愈发不可收拾. 50买了2个 320G 的二手盘放公司玩 raidz. 只是拿 zfs 挂数据的话, 只要编译好 zfs 内核模块和 zfs 命令行工具即可. 但是,如果要 zfs 当 root 文件系统的话, 则免不了一番折腾. 为啥呢? 因为 zfs 不同于 legacy 文件系统, 他是集卷管理于一身的.

April 27, 2019

无盘PC

自从上了万兆,把PC上的硬盘拆到nas上,让PC变成无盘的计划就开始执行了。真正的无盘需要 PXE,然而,同时也意味着现有的 NVMe SSD 成了摆设,因为上文提到的,我的 nas 因为主板关系, pcie 通道不足,无法插 M.2 了。所以现有的 ssd 还是继续在主板上服役。M2 只是一个非常小的接口, ssd 插上主板后和主板融为一体了,所以,姑且就算是主板自带的存储好了,如果只有 nvme 那也可以算无盘。 既然保留了 nvme,那么无盘的工作就简单了,只需要将个人文件 aka /home 目录放到 nas 上通过网络访问即可。由于在完成拷贝之前我就已经迫不及待的把硬盘插上 NAS 了,因此最初的无盘,我使用的 iSCSI。 将 pc 原本的 4T 硬盘通过 iscsi 共享给 pc 自己。连 fstab 文件都不需要修改,因为 iscsi 连上去的磁盘居然还是 /dev/sda 。就好像只是换了一个 sata 口插一样的方便。 但是, iscsi 只是 sata 线的替代品。我真正的目的,是要让我的数据全部由 ZFS 保管。只有 ZFS 才能让我感到安心。 因此, 8T 氦气填充盘到了后,我就开始了乾坤大挪移。rsync 拷贝了数T的数据,把 旧硬盘上的数据全部转移到了 8T盘上的 ZFS。 然后格式化旧盘,将旧盘作为 mirror 和 8T 的盘组成 raid1。 4T 和 8T 怎么组 raid1? ...

April 26, 2019

NAS 的 pcie 短缺问题

万兆网卡到货后,迫不及待的插上主板开机。 当时就注意到了一个问题,怎么有一个 SATA 控制器变成了 2port controller 了。也就是说只有6个 sata 口了。 然后和 pc 开始 iperf 测速。发现速度居然只有刚刚超过 2Gbps!!! 什么鬼? 然后把 pc 上的那个卡换了个插槽,换到 pcie x16 的显卡插槽上了。原来是我这个卡放到了最后一个 pcie 2.0 x2 的插槽上(物理形态是 x16) 再测,发现速度也是在 4Gbps 上下。然后进 nas 的 bios 发现, 我去!坑死我了。 原来这个主板的 pcie 和 sata 是2选1通道的。 配置模式是 pcie x4 + sata x4, pcie x2 + sata x6, 或者 sata x8 但是禁用 pcie . 我去,原来我只能折腾4盘位nas! 一开始是 sata x8 但是只要 pcie 上插了卡,默认就是 pcie x2 + sata x6 模式。手动调节为 pcie x4 + sata x4 模式 后进系统, 果然达到了 9.4Gbps 的速度,然后改了 MTU 到 9000 就变成了 9.8Gbps 的速度了。 ...

April 23, 2019

10Gbps 家庭云存储

在万兆内网达成后, 终于到了最重要的环节了,就是搭建一台支持万兆网络访问的 NAS。 首先问自己一个最重要的问题:我家里有矿吗? 显然,没有,所以,一切都要以够用为目标,而不追求高大上。 所以,显然这次万兆够用为主,量力而行。 第一个选择就是主板。主板我花了超过一周的时间去寻找,对比各种方案。 当时的方案有3个: 方案1:集成 Atom C3558 的主板。有ASRock和超微两个牌子都有提供。 方案2:集成 Xeon D2123 的主板。 方案3:使用 Ryzen 200GE 和 B450 主板。 方案1 是因为主板提供了 pcie x4 的插槽,并且有 8 个 SATA 口(后来发现是个坑) 方案2 是以为主板已经集成了万兆网卡。 方案3 是因为毕竟是正常的桌面PC(虽然是低端的)有充足的扩展性。 最后方案3被 PASS,因为发现需要 ECC 内存。 方案2 因为主板价格超过五千被 pass。 然后是选定方案1, Atom C3558。 选方案1 是因为发现群辉8盘位的 DS1819+ 也是 Atom C3538 的方案。比 3558 还稍微渣了一丁丁呢。 而 DS1819+ 售价超过 8000 呢。 虽然犹豫了一阵子,不过最后买了超威的 A2SDi-4C-HLN4F 这个款的主板,集成 C3558 cpu。CPU 被动散热,TDP 25w,花了 2333. 然后就是最糟糕的,选机箱上了。 因为家里有个小机柜,所以希望买个2U 高度的8个热插拔盘位的机箱。结果发现了一个严重的问题, 2U 高度的机箱,要么4盘位短机箱,要么8盘位长机箱。而长机箱是放不进去我的小机柜的。无奈买了个3U高度的。8个热插拔的机箱,长度40cm,再长点就要顶我机柜后盖了。价格 720 但是运费 60 。。。。 ...

April 22, 2019

内网万兆达成

千兆用几年了? 从我拥有的第一台电脑起,主板自带以太网口就是千兆的。十几年过去了,主板自带网口依旧千兆。 千兆网和 1366x768 一样,都是业界毒瘤,停滞在一个“够用” 的幻想里止步不前。 为了打破这个幻想,我最终决定,将家里的内网升级为 10G 光以太网。 为啥用光纤呢? 主要是我的 PC 所在的位置,距离 86网络端口面板有数米的距离,中间如果使用网线会非常的碍事。 所以我买了个 86 面板的 AP 把原来的网络端口面板替换了。然后 PC 再上一块 wifi 网卡即可。 无线代替了有线。虽然链接速度显示为 1733Mbps 但是实测速度只有 600Mbps 而已。 虽然不够用,但是我更不希望一条网线拖过去。 就这么用了几个月,突然间,我发现了一种叫“隐性光纤” 的神器。有了这个,就可以把隐性光纤沿着墙角落走线到 PC,不就解决了难看碍事的问题了吗? 但是,既然上了光纤,就不能继续千兆了,当然要万兆才行。 兵马未动,粮草先行。买设备升级前,首先解决布线问题。 于是买了 隐性光纤。然后开始换线。买了条新的网线,然后把新的网线和光纤一起绑在开发商装的网线上,然后从弱点箱抽,非常的困难,最担心的就是把线拉断在中间了。 虽然过程很艰难,但是最终把隐性光纤给换进去了。做好了以后,就是 86 面板AP 的边上还抽出来了一个细细的透明的钓鱼线一样的光纤,然后沿着墙角走线(透明胶大法)一路通到了 PC。另一头也已经从弱电箱出来放到网络机柜的边上了。 第一步就算完成了,证明开发商虽然黑心,但是好歹线还是有用管子布的。。还是能换的,虽然很难抽。。。。 但是,这么难抽,有没有把光纤拉断呢? 于是买了红光笔和冷接套装还有万兆网卡。 开始接 SC 头。 冷接真的是个技术活,但是我最终搞定了。隐形光纤有2层皮,最外层是一层软塑料。用米勒钳的第二个口就可以剥掉。然后露出的裸纤我当时就直接上冷接头了。。还很纳闷为啥切割刀无法切割。我改用网线钳去切光纤了。。。。。 最后最好的线红光笔一测,怎么光点这么弱!? 结果是错误的,要再剥掉一层。用米勒钳的第三个口剥离。当时我直接用第三口剥发现一切就断了。还以为是他第三口洞太小了。原来是要先用口2剥第一层,然后用口3 剥最后一层。 最后最后才真正的露出了内层玻璃纤维。 这个玻璃纤维放到切割器上真的一次就切的整整齐齐。 然后塞入冷接头。红光笔一测,发现和买的成品跳线一样亮了。 然后把路由器到交换机临时改插网线,把 SFP 模块借用给 PC 了。万兆网卡不出意外的兼容千兆光模块。 这样就实现了PC千兆光纤到交换机。 终于可以对 1733Mbps 的 wifi 说拜拜了。 冷接光纤学会了,自然就不怕了,然后开始选万兆交换机。必须是无风扇的交换机 这个是最大的一个问题,我最后停留在2个方案上。 方案1: 使用 MikroTik CRS305, 带4个万兆光口和一个千兆口。千兆电口支持 POE 受电,意味着只要插入原来的交换机上就可以立即工作了。 方案2: 使用华为 S1720-28GWR-4X 交换机。4个万兆口,24个千兆口,无风扇被动散热。没有 POE,意味着原先的交换机还得服役。 这两个方案都要原来的交换机继续服役,听起来是保护投资了,其实不然。 第一,交换机到交换机的带宽被限定 1G 可不是好事。第二,两台交换机还是占用了更大的空间,特别是方案2的话我其实不需要2台交换机给我扩充那么多端口。而方案1会有性能瓶颈。 ...

April 4, 2019