<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>10G on 菜菜博士</title>
    <link>https://microcai.org/tags/10G.html</link>
    <description>Recent content in 10G on 菜菜博士</description>
    <generator>Hugo</generator>
    <language>zh-cn</language>
    <lastBuildDate>Wed, 29 May 2019 00:00:00 +0800</lastBuildDate>
    <atom:link href="https://microcai.org/tags/10G/feed.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>NAS 换 Gentoo</title>
      <link>https://microcai.org/2019/05/29/goback-to-gentoo.html</link>
      <pubDate>Wed, 29 May 2019 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2019/05/29/goback-to-gentoo.html</guid>
      <description>&lt;p&gt;freenas 使用了一阵子，发现了几个严重的问题&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;软件严重缺乏&lt;/li&gt;
&lt;li&gt;插件需要使用 jails 而 jails 的网络居然不能使用宿主网络必须桥接&lt;/li&gt;
&lt;li&gt;桥接导致 mlx 驱动禁用网卡 tcp offload engine&lt;/li&gt;
&lt;li&gt;不支持 RDMA，atom cpu 性能弱，无法跑满万兆带宽。&lt;/li&gt;
&lt;li&gt;实际上很少使用 web 管理界面，多数情况下还是 ssh 上去直接敲命令&lt;/li&gt;
&lt;li&gt;性能差&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;要想性能好，Gentoo 少不了。于是计划 nas 改用 Gentoo。首先要做的事情就是确保 Gentoo 可以使用 ZFS。&lt;/p&gt;
&lt;p&gt;这个呢，我就先在自己机器上折腾了。首先重新编译内核，启用 zfs，安装好 zfs 工具，接着根分区的数据先备份，然后格式化为 zfs。然后拷贝回来。重启。完美启用 zfs。&lt;/p&gt;
&lt;p&gt;具体的迁移步骤为：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;首先进行规划，我的 nvme 盘有2个分区， nvme0n1p1 500M 为 EFI 分区。nvme0n1p2 117G 为 ext4 挂到 / 。首先使用 e2fsresize 命令缩小分区，然后在空闲的地方创建 nvme0n1p3 分区。 50G. 由于 liveusb 系统不支持 zfs，因此做完这些步骤后重启回原来的系统。&lt;/li&gt;
&lt;li&gt;zpool create -o mountpoint=none -R /newroot Gentoo nvme0n1p3 命令创建一个池。&lt;/li&gt;
&lt;li&gt;zfs create Gentoo/ROOT&lt;/li&gt;
&lt;li&gt;zfs set mountpoint=/ Gentoo/ROOT&lt;/li&gt;
&lt;li&gt;rsync -xav / /newroot&lt;/li&gt;
&lt;li&gt;完毕后重启，设定 root=ZFS=Gentoo/ROOT&lt;/li&gt;
&lt;li&gt;接着 zpool attach Gentoo nvme0n1p3 nvme0n1p2 命令，将原先的 ext4 所在分区直接以 mirror 模式加入 Gentoo 池。&lt;/li&gt;
&lt;li&gt;等待 resilver 完成&lt;/li&gt;
&lt;li&gt;zpool detach Gentoo nvme0n1p3 把 nvme0n1p3 这个分区分离出 Gentoo 池。&lt;/li&gt;
&lt;li&gt;fdisk 重新调整分区，把剩余的空间重新划给 nvme0n1p2&lt;/li&gt;
&lt;li&gt;zpool attache -e Gentoo nvme0n1p2 执行完毕后， Gentoo 池的大小就占满 nvme0n1p2 分区的大小了&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;这样 Gentoo 池就是 117G 大小了。ext4 无损切换为了 zfs。&lt;/p&gt;</description>
    </item>
    <item>
      <title>根分区 ZFS 化</title>
      <link>https://microcai.org/2019/04/27/root-on-zfs.html</link>
      <pubDate>Sat, 27 Apr 2019 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2019/04/27/root-on-zfs.html</guid>
      <description>&lt;p&gt;自从用 freenas 接触到了 ZFS, 我就爱上了 ZFS , 变得愈发不可收拾.  50买了2个 320G 的二手盘放公司玩 raidz.&lt;/p&gt;
&lt;p&gt;只是拿 zfs 挂数据的话, 只要编译好 zfs 内核模块和 zfs 命令行工具即可. 但是,如果要 zfs 当 root 文件系统的话, 则免不了一番折腾.&lt;/p&gt;
&lt;p&gt;为啥呢? 因为 zfs 不同于 legacy 文件系统, 他是集卷管理于一身的.&lt;/p&gt;</description>
    </item>
    <item>
      <title>无盘PC</title>
      <link>https://microcai.org/2019/04/26/go-diskless.html</link>
      <pubDate>Fri, 26 Apr 2019 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2019/04/26/go-diskless.html</guid>
      <description>&lt;p&gt;自从上了万兆，把PC上的硬盘拆到nas上，让PC变成无盘的计划就开始执行了。真正的无盘需要 PXE，然而，同时也意味着现有的 NVMe SSD 成了摆设，因为上文提到的，我的 nas 因为主板关系， pcie 通道不足，无法插 M.2 了。所以现有的 ssd 还是继续在主板上服役。M2 只是一个非常小的接口， ssd 插上主板后和主板融为一体了，所以，姑且就算是主板自带的存储好了，如果只有 nvme 那也可以算无盘。&lt;/p&gt;
&lt;p&gt;既然保留了 nvme，那么无盘的工作就简单了，只需要将个人文件  aka &lt;code&gt;/home&lt;/code&gt; 目录放到 nas 上通过网络访问即可。由于在完成拷贝之前我就已经迫不及待的把硬盘插上 NAS 了，因此最初的无盘，我使用的 iSCSI。&lt;/p&gt;
&lt;p&gt;将 pc 原本的 4T 硬盘通过 iscsi 共享给 pc 自己。连 fstab 文件都不需要修改，因为 iscsi 连上去的磁盘居然还是 /dev/sda 。就好像只是换了一个 sata 口插一样的方便。&lt;/p&gt;
&lt;p&gt;但是， iscsi 只是 sata 线的替代品。我真正的目的，是要让我的数据全部由 ZFS 保管。只有 ZFS 才能让我感到安心。&lt;/p&gt;
&lt;p&gt;因此， 8T 氦气填充盘到了后，我就开始了乾坤大挪移。rsync 拷贝了数T的数据，把 旧硬盘上的数据全部转移到了 8T盘上的 ZFS。&lt;/p&gt;
&lt;p&gt;然后格式化旧盘，将旧盘作为 mirror 和 8T 的盘组成 raid1。&lt;/p&gt;
&lt;p&gt;4T 和 8T 怎么组 raid1？&lt;/p&gt;</description>
    </item>
    <item>
      <title>NAS 的 pcie 短缺问题</title>
      <link>https://microcai.org/2019/04/23/intel-pcie-shortage.html</link>
      <pubDate>Tue, 23 Apr 2019 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2019/04/23/intel-pcie-shortage.html</guid>
      <description>&lt;p&gt;万兆网卡到货后，迫不及待的插上主板开机。&lt;/p&gt;
&lt;p&gt;当时就注意到了一个问题，怎么有一个 SATA 控制器变成了 2port controller 了。也就是说只有6个 sata 口了。&lt;/p&gt;
&lt;p&gt;然后和 pc 开始 iperf 测速。发现速度居然只有刚刚超过 2Gbps！！！
什么鬼？&lt;/p&gt;
&lt;p&gt;然后把 pc 上的那个卡换了个插槽，换到 pcie x16 的显卡插槽上了。原来是我这个卡放到了最后一个 pcie 2.0 x2 的插槽上（物理形态是 x16)&lt;/p&gt;
&lt;p&gt;再测，发现速度也是在  4Gbps 上下。然后进 nas 的 bios 发现， 我去！坑死我了。&lt;/p&gt;
&lt;p&gt;原来这个主板的 pcie 和 sata 是2选1通道的。 配置模式是 pcie x4 + sata x4, pcie x2 + sata x6, 或者 sata x8 但是禁用 pcie .&lt;/p&gt;
&lt;p&gt;我去，原来我只能折腾4盘位nas！ 一开始是 sata x8 但是只要 pcie 上插了卡，默认就是 pcie x2 + sata x6 模式。手动调节为 pcie x4 + sata x4 模式 后进系统， 果然达到了 9.4Gbps 的速度，然后改了 MTU 到 9000 就变成了 9.8Gbps 的速度了。&lt;/p&gt;</description>
    </item>
    <item>
      <title>10Gbps 家庭云存储</title>
      <link>https://microcai.org/2019/04/22/10GbE-NAS.html</link>
      <pubDate>Mon, 22 Apr 2019 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2019/04/22/10GbE-NAS.html</guid>
      <description>&lt;p&gt;在万兆内网达成后， 终于到了最重要的环节了，就是搭建一台支持万兆网络访问的 NAS。&lt;/p&gt;
&lt;p&gt;首先问自己一个最重要的问题：我家里有矿吗？&lt;/p&gt;
&lt;p&gt;显然，没有，所以，一切都要以够用为目标，而不追求高大上。&lt;/p&gt;
&lt;p&gt;所以，显然这次万兆够用为主，量力而行。&lt;/p&gt;
&lt;p&gt;第一个选择就是主板。主板我花了超过一周的时间去寻找，对比各种方案。&lt;/p&gt;
&lt;p&gt;当时的方案有3个：&lt;/p&gt;
&lt;p&gt;方案1：集成 Atom C3558 的主板。有ASRock和超微两个牌子都有提供。&lt;/p&gt;
&lt;p&gt;方案2：集成 Xeon D2123 的主板。&lt;/p&gt;
&lt;p&gt;方案3：使用 Ryzen 200GE 和 B450 主板。&lt;/p&gt;
&lt;p&gt;方案1 是因为主板提供了 pcie x4 的插槽，并且有 8 个 SATA 口（后来发现是个坑）
方案2 是以为主板已经集成了万兆网卡。
方案3 是因为毕竟是正常的桌面PC（虽然是低端的）有充足的扩展性。&lt;/p&gt;
&lt;p&gt;最后方案3被 PASS，因为发现需要 ECC 内存。&lt;/p&gt;
&lt;p&gt;方案2 因为主板价格超过五千被 pass。&lt;/p&gt;
&lt;p&gt;然后是选定方案1, Atom C3558。&lt;/p&gt;
&lt;p&gt;选方案1 是因为发现群辉8盘位的 DS1819+ 也是 Atom C3538 的方案。比 3558 还稍微渣了一丁丁呢。 而 DS1819+ 售价超过 8000 呢。&lt;/p&gt;
&lt;p&gt;虽然犹豫了一阵子，不过最后买了超威的 A2SDi-4C-HLN4F 这个款的主板，集成 C3558 cpu。CPU 被动散热，TDP 25w，花了 2333.&lt;/p&gt;
&lt;p&gt;然后就是最糟糕的，选机箱上了。&lt;/p&gt;
&lt;p&gt;因为家里有个小机柜，所以希望买个2U 高度的8个热插拔盘位的机箱。结果发现了一个严重的问题， 2U 高度的机箱，要么4盘位短机箱，要么8盘位长机箱。而长机箱是放不进去我的小机柜的。无奈买了个3U高度的。8个热插拔的机箱，长度40cm，再长点就要顶我机柜后盖了。价格 720 但是运费 60 。。。。&lt;/p&gt;</description>
    </item>
    <item>
      <title>内网万兆达成</title>
      <link>https://microcai.org/2019/04/04/go-10GbE.html</link>
      <pubDate>Thu, 04 Apr 2019 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2019/04/04/go-10GbE.html</guid>
      <description>&lt;p&gt;千兆用几年了？ 从我拥有的第一台电脑起，主板自带以太网口就是千兆的。十几年过去了，主板自带网口依旧千兆。&lt;/p&gt;
&lt;p&gt;千兆网和 1366x768 一样，都是业界毒瘤，停滞在一个“够用” 的幻想里止步不前。&lt;/p&gt;
&lt;p&gt;为了打破这个幻想，我最终决定，将家里的内网升级为 10G 光以太网。&lt;/p&gt;
&lt;p&gt;为啥用光纤呢？&lt;/p&gt;
&lt;p&gt;主要是我的 PC 所在的位置，距离 86网络端口面板有数米的距离，中间如果使用网线会非常的碍事。
所以我买了个 86 面板的 AP 把原来的网络端口面板替换了。然后 PC 再上一块 wifi 网卡即可。&lt;/p&gt;
&lt;p&gt;无线代替了有线。虽然链接速度显示为 1733Mbps 但是实测速度只有 600Mbps 而已。&lt;/p&gt;
&lt;p&gt;虽然不够用，但是我更不希望一条网线拖过去。&lt;/p&gt;
&lt;p&gt;就这么用了几个月，突然间，我发现了一种叫“隐性光纤” 的神器。有了这个，就可以把隐性光纤沿着墙角落走线到 PC，不就解决了难看碍事的问题了吗？&lt;/p&gt;
&lt;p&gt;但是，既然上了光纤，就不能继续千兆了，当然要万兆才行。&lt;/p&gt;
&lt;p&gt;兵马未动，粮草先行。买设备升级前，首先解决布线问题。&lt;/p&gt;
&lt;p&gt;于是买了 隐性光纤。然后开始换线。买了条新的网线，然后把新的网线和光纤一起绑在开发商装的网线上，然后从弱点箱抽，非常的困难，最担心的就是把线拉断在中间了。
虽然过程很艰难，但是最终把隐性光纤给换进去了。做好了以后，就是 86 面板AP 的边上还抽出来了一个细细的透明的钓鱼线一样的光纤，然后沿着墙角走线（透明胶大法）一路通到了 PC。另一头也已经从弱电箱出来放到网络机柜的边上了。&lt;/p&gt;
&lt;p&gt;第一步就算完成了，证明开发商虽然黑心，但是好歹线还是有用管子布的。。还是能换的，虽然很难抽。。。。&lt;/p&gt;
&lt;p&gt;但是，这么难抽，有没有把光纤拉断呢？&lt;/p&gt;
&lt;p&gt;于是买了红光笔和冷接套装还有万兆网卡。&lt;/p&gt;
&lt;p&gt;开始接 SC 头。&lt;/p&gt;
&lt;p&gt;冷接真的是个技术活，但是我最终搞定了。隐形光纤有2层皮，最外层是一层软塑料。用米勒钳的第二个口就可以剥掉。然后露出的裸纤我当时就直接上冷接头了。。还很纳闷为啥切割刀无法切割。我改用网线钳去切光纤了。。。。。 最后最好的线红光笔一测，怎么光点这么弱！？&lt;/p&gt;
&lt;p&gt;结果是错误的，要再剥掉一层。用米勒钳的第三个口剥离。当时我直接用第三口剥发现一切就断了。还以为是他第三口洞太小了。原来是要先用口2剥第一层，然后用口3 剥最后一层。&lt;/p&gt;
&lt;p&gt;最后最后才真正的露出了内层玻璃纤维。&lt;/p&gt;
&lt;p&gt;这个玻璃纤维放到切割器上真的一次就切的整整齐齐。&lt;/p&gt;
&lt;p&gt;然后塞入冷接头。红光笔一测，发现和买的成品跳线一样亮了。&lt;/p&gt;
&lt;p&gt;然后把路由器到交换机临时改插网线，把 SFP 模块借用给 PC 了。万兆网卡不出意外的兼容千兆光模块。&lt;/p&gt;
&lt;p&gt;这样就实现了PC千兆光纤到交换机。&lt;/p&gt;
&lt;p&gt;终于可以对 1733Mbps 的 wifi 说拜拜了。&lt;/p&gt;
&lt;p&gt;冷接光纤学会了，自然就不怕了，然后开始选万兆交换机。必须是无风扇的交换机&lt;/p&gt;
&lt;p&gt;这个是最大的一个问题，我最后停留在2个方案上。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;方案1： 使用 MikroTik CRS305, 带4个万兆光口和一个千兆口。千兆电口支持 POE 受电，意味着只要插入原来的交换机上就可以立即工作了。&lt;/li&gt;
&lt;li&gt;方案2： 使用华为 S1720-28GWR-4X 交换机。4个万兆口，24个千兆口，无风扇被动散热。没有 POE，意味着原先的交换机还得服役。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;这两个方案都要原来的交换机继续服役，听起来是保护投资了，其实不然。 第一，交换机到交换机的带宽被限定 1G 可不是好事。第二，两台交换机还是占用了更大的空间，特别是方案2的话我其实不需要2台交换机给我扩充那么多端口。而方案1会有性能瓶颈。&lt;/p&gt;</description>
    </item>
  </channel>
</rss>
