NAS 换 Gentoo

freenas 使用了一阵子,发现了几个严重的问题 软件严重缺乏 插件需要使用 jails 而 jails 的网络居然不能使用宿主网络必须桥接 桥接导致 mlx 驱动禁用网卡 tcp offload engine 不支持 RDMA,atom cpu 性能弱,无法跑满万兆带宽。 实际上很少使用 web 管理界面,多数情况下还是 ssh 上去直接敲命令 性能差 要想性能好,Gentoo 少不了。于是计划 nas 改用 Gentoo。首先要做的事情就是确保 Gentoo 可以使用 ZFS。 这个呢,我就先在自己机器上折腾了。首先重新编译内核,启用 zfs,安装好 zfs 工具,接着根分区的数据先备份,然后格式化为 zfs。然后拷贝回来。重启。完美启用 zfs。 具体的迁移步骤为: 首先进行规划,我的 nvme 盘有2个分区, nvme0n1p1 500M 为 EFI 分区。nvme0n1p2 117G 为 ext4 挂到 / 。首先使用 e2fsresize 命令缩小分区,然后在空闲的地方创建 nvme0n1p3 分区。 50G. 由于 liveusb 系统不支持 zfs,因此做完这些步骤后重启回原来的系统。 zpool create -o mountpoint=none -R /newroot Gentoo nvme0n1p3 命令创建一个池。 zfs create Gentoo/ROOT zfs set mountpoint=/ Gentoo/ROOT rsync -xav / /newroot 完毕后重启,设定 root=ZFS=Gentoo/ROOT 接着 zpool attach Gentoo nvme0n1p3 nvme0n1p2 命令,将原先的 ext4 所在分区直接以 mirror 模式加入 Gentoo 池。 等待 resilver 完成 zpool detach Gentoo nvme0n1p3 把 nvme0n1p3 这个分区分离出 Gentoo 池。 fdisk 重新调整分区,把剩余的空间重新划给 nvme0n1p2 zpool attache -e Gentoo nvme0n1p2 执行完毕后, Gentoo 池的大小就占满 nvme0n1p2 分区的大小了 这样 Gentoo 池就是 117G 大小了。ext4 无损切换为了 zfs。 ...

May 29, 2019

NAS 的 pcie 短缺问题

万兆网卡到货后,迫不及待的插上主板开机。 当时就注意到了一个问题,怎么有一个 SATA 控制器变成了 2port controller 了。也就是说只有6个 sata 口了。 然后和 pc 开始 iperf 测速。发现速度居然只有刚刚超过 2Gbps!!! 什么鬼? 然后把 pc 上的那个卡换了个插槽,换到 pcie x16 的显卡插槽上了。原来是我这个卡放到了最后一个 pcie 2.0 x2 的插槽上(物理形态是 x16) 再测,发现速度也是在 4Gbps 上下。然后进 nas 的 bios 发现, 我去!坑死我了。 原来这个主板的 pcie 和 sata 是2选1通道的。 配置模式是 pcie x4 + sata x4, pcie x2 + sata x6, 或者 sata x8 但是禁用 pcie . 我去,原来我只能折腾4盘位nas! 一开始是 sata x8 但是只要 pcie 上插了卡,默认就是 pcie x2 + sata x6 模式。手动调节为 pcie x4 + sata x4 模式 后进系统, 果然达到了 9.4Gbps 的速度,然后改了 MTU 到 9000 就变成了 9.8Gbps 的速度了。 ...

April 23, 2019