NAS 换 Gentoo

freenas 使用了一阵子,发现了几个严重的问题 软件严重缺乏 插件需要使用 jails 而 jails 的网络居然不能使用宿主网络必须桥接 桥接导致 mlx 驱动禁用网卡 tcp offload engine 不支持 RDMA,atom cpu 性能弱,无法跑满万兆带宽。 实际上很少使用 web 管理界面,多数情况下还是 ssh 上去直接敲命令 性能差 要想性能好,Gentoo 少不了。于是计划 nas 改用 Gentoo。首先要做的事情就是确保 Gentoo 可以使用 ZFS。 这个呢,我就先在自己机器上折腾了。首先重新编译内核,启用 zfs,安装好 zfs 工具,接着根分区的数据先备份,然后格式化为 zfs。然后拷贝回来。重启。完美启用 zfs。 具体的迁移步骤为: 首先进行规划,我的 nvme 盘有2个分区, nvme0n1p1 500M 为 EFI 分区。nvme0n1p2 117G 为 ext4 挂到 / 。首先使用 e2fsresize 命令缩小分区,然后在空闲的地方创建 nvme0n1p3 分区。 50G. 由于 liveusb 系统不支持 zfs,因此做完这些步骤后重启回原来的系统。 zpool create -o mountpoint=none -R /newroot Gentoo nvme0n1p3 命令创建一个池。 zfs create Gentoo/ROOT zfs set mountpoint=/ Gentoo/ROOT rsync -xav / /newroot 完毕后重启,设定 root=ZFS=Gentoo/ROOT 接着 zpool attach Gentoo nvme0n1p3 nvme0n1p2 命令,将原先的 ext4 所在分区直接以 mirror 模式加入 Gentoo 池。 等待 resilver 完成 zpool detach Gentoo nvme0n1p3 把 nvme0n1p3 这个分区分离出 Gentoo 池。 fdisk 重新调整分区,把剩余的空间重新划给 nvme0n1p2 zpool attache -e Gentoo nvme0n1p2 执行完毕后, Gentoo 池的大小就占满 nvme0n1p2 分区的大小了 这样 Gentoo 池就是 117G 大小了。ext4 无损切换为了 zfs。 ...

May 29, 2019

根分区 ZFS 化

自从用 freenas 接触到了 ZFS, 我就爱上了 ZFS , 变得愈发不可收拾. 50买了2个 320G 的二手盘放公司玩 raidz. 只是拿 zfs 挂数据的话, 只要编译好 zfs 内核模块和 zfs 命令行工具即可. 但是,如果要 zfs 当 root 文件系统的话, 则免不了一番折腾. 为啥呢? 因为 zfs 不同于 legacy 文件系统, 他是集卷管理于一身的.

April 27, 2019

无盘PC

自从上了万兆,把PC上的硬盘拆到nas上,让PC变成无盘的计划就开始执行了。真正的无盘需要 PXE,然而,同时也意味着现有的 NVMe SSD 成了摆设,因为上文提到的,我的 nas 因为主板关系, pcie 通道不足,无法插 M.2 了。所以现有的 ssd 还是继续在主板上服役。M2 只是一个非常小的接口, ssd 插上主板后和主板融为一体了,所以,姑且就算是主板自带的存储好了,如果只有 nvme 那也可以算无盘。 既然保留了 nvme,那么无盘的工作就简单了,只需要将个人文件 aka /home 目录放到 nas 上通过网络访问即可。由于在完成拷贝之前我就已经迫不及待的把硬盘插上 NAS 了,因此最初的无盘,我使用的 iSCSI。 将 pc 原本的 4T 硬盘通过 iscsi 共享给 pc 自己。连 fstab 文件都不需要修改,因为 iscsi 连上去的磁盘居然还是 /dev/sda 。就好像只是换了一个 sata 口插一样的方便。 但是, iscsi 只是 sata 线的替代品。我真正的目的,是要让我的数据全部由 ZFS 保管。只有 ZFS 才能让我感到安心。 因此, 8T 氦气填充盘到了后,我就开始了乾坤大挪移。rsync 拷贝了数T的数据,把 旧硬盘上的数据全部转移到了 8T盘上的 ZFS。 然后格式化旧盘,将旧盘作为 mirror 和 8T 的盘组成 raid1。 4T 和 8T 怎么组 raid1? ...

April 26, 2019

NAS 的 pcie 短缺问题

万兆网卡到货后,迫不及待的插上主板开机。 当时就注意到了一个问题,怎么有一个 SATA 控制器变成了 2port controller 了。也就是说只有6个 sata 口了。 然后和 pc 开始 iperf 测速。发现速度居然只有刚刚超过 2Gbps!!! 什么鬼? 然后把 pc 上的那个卡换了个插槽,换到 pcie x16 的显卡插槽上了。原来是我这个卡放到了最后一个 pcie 2.0 x2 的插槽上(物理形态是 x16) 再测,发现速度也是在 4Gbps 上下。然后进 nas 的 bios 发现, 我去!坑死我了。 原来这个主板的 pcie 和 sata 是2选1通道的。 配置模式是 pcie x4 + sata x4, pcie x2 + sata x6, 或者 sata x8 但是禁用 pcie . 我去,原来我只能折腾4盘位nas! 一开始是 sata x8 但是只要 pcie 上插了卡,默认就是 pcie x2 + sata x6 模式。手动调节为 pcie x4 + sata x4 模式 后进系统, 果然达到了 9.4Gbps 的速度,然后改了 MTU 到 9000 就变成了 9.8Gbps 的速度了。 ...

April 23, 2019

10Gbps 家庭云存储

在万兆内网达成后, 终于到了最重要的环节了,就是搭建一台支持万兆网络访问的 NAS。 首先问自己一个最重要的问题:我家里有矿吗? 显然,没有,所以,一切都要以够用为目标,而不追求高大上。 所以,显然这次万兆够用为主,量力而行。 第一个选择就是主板。主板我花了超过一周的时间去寻找,对比各种方案。 当时的方案有3个: 方案1:集成 Atom C3558 的主板。有ASRock和超微两个牌子都有提供。 方案2:集成 Xeon D2123 的主板。 方案3:使用 Ryzen 200GE 和 B450 主板。 方案1 是因为主板提供了 pcie x4 的插槽,并且有 8 个 SATA 口(后来发现是个坑) 方案2 是以为主板已经集成了万兆网卡。 方案3 是因为毕竟是正常的桌面PC(虽然是低端的)有充足的扩展性。 最后方案3被 PASS,因为发现需要 ECC 内存。 方案2 因为主板价格超过五千被 pass。 然后是选定方案1, Atom C3558。 选方案1 是因为发现群辉8盘位的 DS1819+ 也是 Atom C3538 的方案。比 3558 还稍微渣了一丁丁呢。 而 DS1819+ 售价超过 8000 呢。 虽然犹豫了一阵子,不过最后买了超威的 A2SDi-4C-HLN4F 这个款的主板,集成 C3558 cpu。CPU 被动散热,TDP 25w,花了 2333. 然后就是最糟糕的,选机箱上了。 因为家里有个小机柜,所以希望买个2U 高度的8个热插拔盘位的机箱。结果发现了一个严重的问题, 2U 高度的机箱,要么4盘位短机箱,要么8盘位长机箱。而长机箱是放不进去我的小机柜的。无奈买了个3U高度的。8个热插拔的机箱,长度40cm,再长点就要顶我机柜后盖了。价格 720 但是运费 60 。。。。 ...

April 22, 2019

多WAN平衡

曾经我也搞了两条宽带,见 使用邻居的CMCC网络 。 然后利用路由器的loadbalance就可以使用多条线路了。 但是,问题恰恰在这里。效果并不好。因为2条宽带并不是一样容量的,对同一目标的访问速度也不尽相同。所以退而求次,选择了只把某些 cmcc 访问速度更快的目标通过 邻居网络出去。 虽然我换了一个城市,然后选择了CMCC,也没有破解邻居的电信宽带wifi密码。但是多年前的失败经历还是让我感觉需要某种自动的机制自动的探测目标网络使用哪条线路是最快的。 这就是 smartproxy 的了。

April 4, 2019

内网万兆达成

千兆用几年了? 从我拥有的第一台电脑起,主板自带以太网口就是千兆的。十几年过去了,主板自带网口依旧千兆。 千兆网和 1366x768 一样,都是业界毒瘤,停滞在一个“够用” 的幻想里止步不前。 为了打破这个幻想,我最终决定,将家里的内网升级为 10G 光以太网。 为啥用光纤呢? 主要是我的 PC 所在的位置,距离 86网络端口面板有数米的距离,中间如果使用网线会非常的碍事。 所以我买了个 86 面板的 AP 把原来的网络端口面板替换了。然后 PC 再上一块 wifi 网卡即可。 无线代替了有线。虽然链接速度显示为 1733Mbps 但是实测速度只有 600Mbps 而已。 虽然不够用,但是我更不希望一条网线拖过去。 就这么用了几个月,突然间,我发现了一种叫“隐性光纤” 的神器。有了这个,就可以把隐性光纤沿着墙角落走线到 PC,不就解决了难看碍事的问题了吗? 但是,既然上了光纤,就不能继续千兆了,当然要万兆才行。 兵马未动,粮草先行。买设备升级前,首先解决布线问题。 于是买了 隐性光纤。然后开始换线。买了条新的网线,然后把新的网线和光纤一起绑在开发商装的网线上,然后从弱点箱抽,非常的困难,最担心的就是把线拉断在中间了。 虽然过程很艰难,但是最终把隐性光纤给换进去了。做好了以后,就是 86 面板AP 的边上还抽出来了一个细细的透明的钓鱼线一样的光纤,然后沿着墙角走线(透明胶大法)一路通到了 PC。另一头也已经从弱电箱出来放到网络机柜的边上了。 第一步就算完成了,证明开发商虽然黑心,但是好歹线还是有用管子布的。。还是能换的,虽然很难抽。。。。 但是,这么难抽,有没有把光纤拉断呢? 于是买了红光笔和冷接套装还有万兆网卡。 开始接 SC 头。 冷接真的是个技术活,但是我最终搞定了。隐形光纤有2层皮,最外层是一层软塑料。用米勒钳的第二个口就可以剥掉。然后露出的裸纤我当时就直接上冷接头了。。还很纳闷为啥切割刀无法切割。我改用网线钳去切光纤了。。。。。 最后最好的线红光笔一测,怎么光点这么弱!? 结果是错误的,要再剥掉一层。用米勒钳的第三个口剥离。当时我直接用第三口剥发现一切就断了。还以为是他第三口洞太小了。原来是要先用口2剥第一层,然后用口3 剥最后一层。 最后最后才真正的露出了内层玻璃纤维。 这个玻璃纤维放到切割器上真的一次就切的整整齐齐。 然后塞入冷接头。红光笔一测,发现和买的成品跳线一样亮了。 然后把路由器到交换机临时改插网线,把 SFP 模块借用给 PC 了。万兆网卡不出意外的兼容千兆光模块。 这样就实现了PC千兆光纤到交换机。 终于可以对 1733Mbps 的 wifi 说拜拜了。 冷接光纤学会了,自然就不怕了,然后开始选万兆交换机。必须是无风扇的交换机 这个是最大的一个问题,我最后停留在2个方案上。 方案1: 使用 MikroTik CRS305, 带4个万兆光口和一个千兆口。千兆电口支持 POE 受电,意味着只要插入原来的交换机上就可以立即工作了。 方案2: 使用华为 S1720-28GWR-4X 交换机。4个万兆口,24个千兆口,无风扇被动散热。没有 POE,意味着原先的交换机还得服役。 这两个方案都要原来的交换机继续服役,听起来是保护投资了,其实不然。 第一,交换机到交换机的带宽被限定 1G 可不是好事。第二,两台交换机还是占用了更大的空间,特别是方案2的话我其实不需要2台交换机给我扩充那么多端口。而方案1会有性能瓶颈。 ...

April 4, 2019

入DN42坑

近来把 家和公司三处地方的网络(2个家,乡下老家嘛)通过 tunnel 手段连接到了一起, 三个地方的 LAN 分配不同的私网网段,因此配置好路由表后,三处内网的机器就可以互相访问了。 最初我使用的是添加静态路由,但是因为 vpn 是使用的点对点互联,而不是首先集中连到一个转发服务器上,所以需要配置路由表的路由器数量达到了4台,比较麻烦,关键是期间我还修改过私网使用的网段,结果每台路由器都要登录上去修改路由表, 非常麻烦。 更为麻烦的是, 其中公司访问老家的 vpn 丢包比较大,如果通过家中的网路跳转访问, 反而更快。但是如果公司到家里的网络断开,还要希望自动的让他们之间的直链线路接手, 于是就折腾上了 OSPF 路由协议。 当然,最开始我是使用的 bgp 协议, 让3台路由器相互建立邻居,但是bgp的邻居要手动配置,稍微麻烦了点,所以改用 ospf 协议。 顺便还修改了 EdgeOS (Ubnt 的路由器使用的系统)让它支持配置 zerotier —— 是通过他内置的 configure 命令配置, 而不是 zerotier-cli 命令, 这样就可以在 Web GUI 上为 zerotier 虚接口建立 ospf。 基本上 EdgeOS 就是 Debian Linux + Perl configure script. 所以,其实 EdgeOS 是可以移植到 x86 软路由上的。不过x86软路由可以直接使用 VyOS。^_^ 有了 动态路由协议,我只要设定老家到公司的vpn链路开销是 200, 而老家到家的开销是 80 , 家到公司的开销是 80, 通过家中转访问的开销则只有 160,于是 ospf 的选路算法就会使用中转代替直联的那条vpn线路。如果中转的线路不可用, 则回退到直联模式。 ...

March 11, 2019

拿到了移动宽带的公网IP

闻觉 CMCC 手握 HKIX 宝剑, 想必连 HK 节点的 VPN 访问世界一定更快。世界的一部分一般在 HK 本地也有 CDN 节点,因此多数时候并不需要再从 HK 去世界绕一圈。于是买新房后,就办理了免费的CMCC宽带。不再向恶势力CT低头了。 美中不足的是 CMCC 手头 ip 资源紧张,早早部署了 CGNAT,再经过猫一层 NAT,路由器又一层 NAT,访问个局域网都要3层NAT,再访问世界那就加1层VPN的NAT,达到了恐怖的4层NAT。 于是第一件事情就是猫给改成了桥接模式,让路由器拨号。 猫就应该好好的做简单的光电转换的事情,搞什么非要把路由器的活也干了。这样下去TP-Link 岂不是要倒闭? (虽然我不用 tp 的东西就是了) 才少了一层NAT,还是深感不舒适。 特别是当需要从办公室连回家中的时候,只能靠服务器中转,明明在同一个城市,敲击键盘的每一个数字却都要绕地球一圈。 NAT 破坏了网络的连接性,阻碍了 ipv6 的进程, 实在是十恶不赦。 传统的NAT只是部署在家中,家里的NAT设备尚在用户掌握之中,大不了爬起来去路由器上敲击几条命令建立端口映射。 但是 CGNAT 就是完完全全的罪恶涛天了。试问,一个只能打电话不能接听电话的手机,还叫手机吗? 这辈子都不曾接过电话的人,总是觉得,能打电话就行了,接不到电话有屁关系。 呵呵,你接不到电话,为了联系你,别人背后不知道做了多少工作,付出了多少成本!这种话,就好像一个生活在首都久了的人,没见过战争,就觉得别人去当兵去边疆守卫国家都是傻逼。 但是没办法,ip地址不够,NAT 还是必要的,但是尽量让 NAT 只位于家中一层而已吧,运营商不要搞NAT了! CMCC 的宽带因为是送的, 直接打电话找它要是肯定没有的,人家宁可拆机也不会给你公网地址。 所以想着,再办一条CT的宽带得了。只是一直没有行动,一是入户光纤乃开发商预埋,只有一根, 二是懒。 因为只要思想不滑坡, 办法总比困难多。 忽然有一天,闲的无聊跑了一下 speedtest。其实一直都有跑,只是都没在意网速。那天就特别在意起来了,发现网速不达标。一直不达标。 于是打了壹卍零捌拾陆。 第二天修宽带的师傅就上门了。 给他演示了一下,首先是 speedtest 测速,速度忽快忽慢。 接着,禁用 ipv6 然后访问 http://mirrors.zju.edu.cn/ 下个iso,速度只有 50M,开 ipv6 访问, 速度 100M。 ...

March 1, 2019

IPv6 这几天的体验

如果只是家里折腾上了 ipv6 那不算 ipv6。网络这种东西一定要互联互通才算。最近把公司的猫也折腾了一下下,上了 ipv6。 于是发现,在公司可以无缝访问家里的设备了。全部都在公网,无需端口映射之类的东西了。当然,家里也没有公网ipv4地址,映射了也白搭。 有了 ipv6 后,发现所有的机器都突然没有了 NAT 墙。那一道无形中把整个世界割裂的墙消失了,只要知道 ip 地址,所有的设备都可以点对点互相访问。 终于,端到端的透明性回来了。 然而问题来了,因为每个设备 ip 不一样,以往一台机器弄个DDNS就好了,现在需要每台提供外访的机器都要跑一个 ddns。要是路由器能为局域网的机器批量更新 AAAA 记录就好了。

February 13, 2019

折腾 NAT64 实现 ipv6 only 内网

一直以来,虽然启用了 ipv6, 但是都是以 Dual Stack 模式运行。 你不知道,是服务器端不支持 ipv6 呢,还是客户端不支持,亦或二者皆有之。 而且Dual Stack虽然解决了互联问题,但是看起来非常的丑陋,多个协议一起跑什么的,才不要呢! 于是就有了搞 IPv6 Only 的想法。为了解决互联问题,还需要一台翻译的设备执行 NAT64。 所谓 NAT64 就是让一台网关充当 ipv6 和 ipv4 的桥梁,把 ipv4 主机模拟成 ipv6 主机,供 IPv6 Only 的主机访问。 之所以可以这么做到,是因为 ipv6 拥有巨大的地址集。只要其中拿一小部分出来就可以包含所有的 ipv4 地址了。可以做到 ipv6 地址和 ipv4 地址一一对应,然后为这个一一对应执行 NAT 转换。 只需要一台网关设备提供 Dual Stack 即可,LAN 内的机器都只要 IPv6 Only 了。 要实现 NAT64 , 首先 需要 DNS64 的帮忙。 何为 DNS64 ? 要让 ipv4 的机器被访问到,首先需要他被转换为 ipv6 地址,做到这一点的就是 DNS64 。 当向 DNS64 查询 dns 的时候,dns64 会检查域名是否有 AAAA 记录,如果有,就用他自己的 AAAA 记录里的 ipv6 地址,客户端就可以直接访问了,完美。 如果他没有 AAAA 记录,但是有 A 记录,就把这个 A记录里的 ipv4 地址给转换为一个 ipv6 地址,然后返回这个假的 AAAA 记录。 ...

February 13, 2019

中国移动原生IPv6配置

上峰拍了桌子, 要求 2018 年底之前商用 ipv6. 移动响应非常积极,已经可以用了. ipv6 带来的第一个好处就是削除了NAT, 对万恶的私网ip地址说再见! 在继续之前,首先讲下,ipv6 同 ipv4 在配置上的不同。 对于家庭宽带,ipv4 是 pppoe 拨号的时候自动配置的。isp 给且仅给一个 ipv4 地址。 如果有多台设备需要上网,就需要使用一种叫 NAT 的技术进行网址共享。由于NAT隐藏了内网的细节, 在 isp 看来,所有的数据都是来自同一个 ip 地址的. 因此isp和家庭网关之间不需要什么路由协议. 但是 ipv6 得益于超长地址,不再需要节约地址了,于是内网仍然分配全球可路由地址. 这个时候, isp 其实就需要分配两次地址,一次是给家庭网关的WAN口,另一次是给家庭网关的 LAN 口. 第一次分配,给 WAN 口分配, ipv4 和 ipv6 是一样的. 都是在 PPPoE 拨号完成后动态分配. 只是, ipv4 时代, LAN 口地址是固定的一个内网地址. 而 ipv6 时代, 即使 ip地址再丰富, 运营商也不会给用户分配固定的 ip 地址, 因此, 需要一种 动态的给 LAN 口分配地址(准确的说是分配前缀)的协议. 这个协议就是 DHCP-PD. LAN 口分配好前缀后, 整个子网就分配下来了, 至于这个子网里哪个机器用哪个地址, 那就和 isp 没有关系了. 而且实际上 isp 下发子网前缀后, 路由器其实是可以把 下发的子网再细分的, 这个适用于有多个 LAN 的情况. ...

December 18, 2018

换用wireguard

之前把家里网络 重新折腾 了一下, 用的是 走socks5 代理的 tcp 协议 openvpn. socks5 代理由 shadowsocks 提供. 不过, 最近偶然在 LWN 发现了 wireguard 这个新型 VPN, 于是盘算着用起来看看效果. 结果一不小心, 发现了vyatta-wireguard, 这个可以让我的路由器也能用 wireguard! 于是按照它的文档配置到了路由器上, 然后VPS那边也配置下. 只是把路由器表里, vtun0 换成了 wg0 就好了, 其他的不需要换. 完了之后测试了一下速度, 比 openvpn 的时候快了很多. 毕竟 UDP 嘛. vpn 这种东西还是适合 UDP 而不是 tcp 的. 而且在跑流量的时候, ping 的延迟不会增加. 如果是 tcp 则会因为发送窗口的关系, ping 的延迟会因为流量增加而迅速增加. 对网络的体验极其不好. 当然, udp 模式的 openvpn 其实也可以, 只是 openvpn 已经被墙识别了, 不可能直接用 openvpn 啦. wg 毕竟新鲜事物, 到墙能识别故意要很长一段时间了. 这段时间内都可以安心的啦. PS: 一开始担心机房屏蔽 UDP 包, 结果发现可以愉快的跑, 担心是多余的啦.

March 20, 2018

网络重新配置

一直以来, 我用的都是基于 ss-redir 和 ipset + iptables 透明代理方式的科学上网. 但是 iptables 方式的上网, 其实还是不如 ChinaRoute 配合 VPN 来的爽. 因为只有 TCP 连接能被透明代理出去, UDP 和 ICMP 协议统统不能. 但是 openvpn 这种协议实在是太过招摇, 所以早就被方校长盯上了. 不可不可. 后来, 我想到了openvpn 可以透过纸飞机的代理再去连接远程服务器, 这样一来, 就解决了 openvpn 过墙问题. 于是直接在服务器上安装 openvpn 然后设定为使用 tcp 协议, 监听 127.0.0.1 地址. 然后在路由器上配置 openvpn , 只要配置文件里设定 socks-proxy xxx:1080 , 然后 remote 为 127.0.0.1 1189 就好了. 因为路由器是 ubnt ER-X, 自带 openvpn , 只需要自己编译 ss 就好, 不过因为最近买了个 群晖的 NAS, 于是懒得折腾交叉编译 ss 了, 直接在 NAS 上用 opkg install shadowsocks-libev 安装了纸飞机. 路由器上使用 NAS 上的 ss 代理就好了. ...

February 22, 2018

使用邻居的CMCC宽带加速

基于某些特殊原因,我知道邻居家的wifi密码。 但是他家信号在我家虽然能收到,但是比较弱。所以一直没用。最近从newbie获赠了一个叫 Ubnt AirMAX 的山寨产品,有个定向天线。 这使得我可以在家接收邻居家的信号了。于是就开始用啦! 先上图。 这是在阳台装好的效果。这货还支持 POE 供电,非常不错,网线到就可以干活了。 邻居家使用的是CMCC的网络,这是我要连上他家网络的主要原因。因为据说 CMCC 的出国带宽好啊! 而我呢,则是重度的墙外网络使用者。 所以想用他家的网络来加速我的国外访问。 连接的办法是 ERX -> POE交换机 -> 山寨网桥。 POE 交换机是网管交换机,所以划了单独 VLAN 给网桥。我用了 port 2 接的网桥,划分了 vlan 3389, pvid = 3389 。 由于我用的 port 7 接的 ERX。port 7 做 trunk 端口,允许通过 3389 即可。 ERX 的 eth2是接入的交换机,所以在 eth2 上创建 vlan 3389 即可。在 eth2.3389 接口上配置 ip 地址,静态 192.168.100.2 。因为邻居家是 192.168.100.0/24 的网络嘛。 然后在 ERX 上 ping 192.168.100.1 成功。意味着能连上邻居的路由器了。 接着为 eth2.3389 接口开 NAT 伪装。这是必要的。因为我不想在邻居家的路由器上配置静态路由表 —— 因为他家的路由器并不支持动态路由协议 —— 当然我也不希望我家内部的网络被他访问到。 ...

December 7, 2016

错误配置的路由器

企业专线宽带通常会分配多个固定IP,一般是 4 个。也有的是 8 个。如何使用这多个IP地址也是一门学问。 我见过的多数企业,对于多个IP的使用基本上就2个模式。 模式1:只使用一个。(通常负责人还会抱怨给那么多地址干嘛,一个就够了,多的不要了,给降价吧!) 模式2:作为NAT地址池。提高大并发下的NAT效率。(这个负责人通常遇到上面那种人会觉得对方没文化,企业上网人数多,NAT端口不够用,自然要多个IP来平衡。) 在这2个模式下,如果企业还要搭建公网服务,则是在路由器上使用 DNAT。多个服务器的话就会把多个IP拿来做 1:1 映射。就是 ip1 的流量全部转给服务器1, ip2 的全部转给服务器2。这个叫 1:1 NAT。 其实这就是把在家用 TP-LINK 的时候的经验套到了企业网络管理中导致的。 正确的做法是,把公网地址直接配置到服务器上去。剩下的配置给路由器做NAT池带办公区的电脑上网。 如果服务器数量比较多,就多购买IP,每个IP的费用其实相当便宜(对拉的起企业专线的公司而言),并不会比服务器消耗的电费更多呢。

December 6, 2016

中国电信原生IPv6配置

目前电信已经商用 ipv6 网络了,ipv6 的好处你懂得。 在继续之前,首先讲下,ipv6 同 ipv4 在配置上的不同。 对于家庭宽带,ipv4 是 pppoe 拨号的时候自动配置的。isp 给且仅给一个 ipv4 地址。 如果有多台设备需要上网,就需要使用一种叫 NAT 的技术进行网址共享。 但是 ipv6 地址有 128位那么长,世上每一粒沙子都能分配一个 ipv6 地址,意思就是分配不完的! 所以,运营商就很大方的给给你许多许多的 ipv6 地址了,也就不需要 NAT 啦! 由于不需要 NAT,因此在使用路由器共享上网的时候,配置就变得不同了。 使用 ipv4 的时候,路由器负责拨号,然后使用它自己的 DHCP服务器给局域网里的其他机器分配一个私有地址。 而到了 ipv6 的时候,情况就有所不同了,因为 ipv6 没有 NAT ,自然局域网里的机器并不需要也不能分配私有地址,而是需要获得一个全球唯一的地址。但是路由器也不是随便给你分配一个地址就行的,随机生成的地址并不一定能保证唯一性,而且也无法路由。isp 怎么能帮你路由一个随机的地址呢? 所以到了 ipv6 的时候,配置办法就变了一下。首先,路由器从 isp 获得 ipv6 地址,这个地址还是老办法,dhcp 自动获得。所以是 dhcp 从 pppoe 自动获得了 v4 和 v6 地址。这个没什么不同。 但是接下来就有不同点了。 接下来,LAN 口的地址配置开始不同了。 ipv4 是固定一个私有的 LAN 口地址,而 ipv6 则使用 dhcp-pd 这个技术从 isp 获得一个 公网地址。因为一般来说一个接口发 dhcp 请求是为了给自己获取地址,而这次,是给别的接口获得地址,所以这个叫 delegate 。又因为,isp 回给你的呢,是一个网段,而不是一般的dhcp给你一个地址。所以这个叫 prefix delegate. ...

November 29, 2016

高速转发是如何实现的

以太网发展到如今,已经出现了 400Gbps 的传输速度了。在这个传输速度下,实现无阻塞转发,需要达到的转发性能要达到 579.2Mpps x 端口数,要实现无阻塞转发所需要的背部带宽达到 800Gbps x 端口数。没有任何已知的系统总线能提供如此大的带宽。 那么,高速转发是如何实现的呢? 首先,将问题分解,一次转发分解成多个动作,然后看这些动作如何实现。 第一,网络接口收到数据包。这里,计算机主机的做法是使用中断进行通知。然而路由器是专门的硬件,它没有除了转发数据包以外的任务。因此它不需要使用中断。而是直接CPU不停的轮询。不仅仅如此,它为每一个端口分配一个CPU。为了降低成本,提高速度,这个专门的干活的CPU通常是一块 ASIC 而不是一块通用 CPU。这个专门的芯片就叫转发引擎吧。他就是专门设计的一个只用来干包转发这一个活的CPU。这样就解决了发收包的瓶颈。 第二,对每个收到的包,要进行查表,决定转发的目的端口。对交换机来说,是以 MAC 地址查表,对三层交换机或路由器来说,是以IP地址进行查表。那么查表速度就成了关键。对内存来说,他的输入是内存地址,输出是该地址的内容,但是,有另一种内存,叫 CAM , Content Addressable Memory,它的输入是内容,输出是内容的key。CAM 能实现硬件查操作,硬件单周期查表。不过 IP 地址和 MAC 地址有些许不同, MAC 地址使用的是精确匹配,而IP地址是用的最长前缀匹配。所以三层转发需要使用 TCAM。 TCAM 就是 三态CAM, 除了 0 和 1 还有个比较状叫 Don’t Care。这样 TCAM 的匹配结果是有多个的,但是只有第一个匹配结果会输出,只要匹配内容预先按照掩码长度排序就可以实现最长前缀匹配了。 完成查表,知道了目的转发端口后,这个数据就该通过 内部背板 发送到另一个端口了。最初背板带宽是一个总线结构,但是随着端口速率的上升,总线结构的背板早就无法支撑交换机需要的巨大带宽了。每个端口两两互联,倒是能解决了带宽问题,但是这意味着端口连线太多。 因此现在路由器使用的是 “交换式背板”。结构如下图所示: 交换式背板是一块纯电路。在每个交叉的位置使用了开关晶体管控制通断。从图片上可以看到 1 2 3 4 发和 1 2 3 4 收可以通过开关实现完全独立的互连。注意这里的 发和收是编号一样的。1 号发和1号收其实就是1号端口。 这样通过开关控制,所有的端口都可以在需要的时候建立点对点连接。由于是点对点链接,因此互联线路的带宽实际上并不会比以太网更高。设计难度就大大降低了。 然后到了发送端口,发送端口再根据 QoS 进行排队然后发出或者列队太长就丢弃。 这样,就可以完全在现有的技术条件下,完成超高速的交换。看起来几百 Tbps 的背板带宽实际上不如 PCIE x16 更有难度。 ...

November 26, 2016

死在以太网发展道路上的网们

记得 Robert Metcalf(以太网的发明者)说过如果有技术最终替代了以太网,那么它还是会被叫做“以太网” ,所以以太网永远不会消亡。 以太网,诚如它所言,真的像火凤凰一样,不断的涅槃重生,从最初的 3Mbps DIX 以太网到最新的 400Gbps 以太网。历经 10Mbps 100Mbps 1000Mbps 10Gbps 40Gbps 100Gbps 的磨练,一次次的幻化重生。然而,都叫以太网。并在这不断的重生中,一路排除掉了全部的竞争对手。 以太网到底凭什么,有如此顽强的生命力,每一次重生都宣布着对手的永久性死亡。先不忙着下结论,让我们看看, 以太网每次重生,都干掉了那些对手吧。 以太网初生的时候,有个重量对手, ARCnet。ARCnet 提供了 10Mbps 的总线结构的连接。所有接到同轴电缆上的机器共享 10Mbps 的带宽。这点和以太网是一致的。不一致的地方在于以太网使用 CSMA/CD 在同轴线上竞争使用网络,而ARCnet则使用令牌决定谁来发送数据,减少了冲突,在主机较多的情况下效率更高。因此最初和以太网的较量中,还略占优势。得益于ARCnet的协议简单,其接口控制卡的售价也低于以太网。因此在竞争中占据了优势。 但是优势很快就消失了,因为基于 非屏蔽双绞线 的以太网诞生了。非屏蔽双绞线大幅降低布线成本。同时网桥的出现隔离了冲突域。而且在2对双绞线上传输能同时实现首发,也就是实现了全双工通信。这些优点使得ARCnet的竞争中败下阵来。 80 年代末的令牌网已经能提供 16Mbps 的产品同以太网较量。令牌网不仅速度快于以太网,而且由于以太网使用CSMA/CD导致冲突发生时效率地下,不管怎么看以太网都处于竞争劣势。但是拯救以太网的“交换机”神奇的出现了。交换机隔离了冲突域,每台主机同交换机之间都能独享这一条链路上的带宽。由于取消了总线结构,星型结构使得布线和移动网络端口都变得轻而易举。而且容易定位网络错误。使得以太网相对竞争者提供了更好的优势。更重要的是,它保护了现有的投资。只要新增交换机,就可以提升网络质量,而不需要大飞周张的更换设备。 接着,快速以太网适时发布。100Mbps 的速率即使放到今天都不显得缓慢呢!更重要的是, 100Mbps 的以太网提供了绝佳的向后兼容性。得益于交换机的使用,企业可以混用 100M 和 10M 的设备组网。这样大大的降低了升级的成本。不仅现有的以太网要升级,而且连使用令牌网的用户也跟着转移过来了。 没过多久,千兆以太网标准化完成。同样提供了向后兼容性。 1000M 100M 和 10M 的设备可以在网络里和谐共存。自此,以太网在局域网领域干掉了所有的竞争对手。 但是,以太网还有更大的野心,刚掉广域网的竞争对手。他首先干掉了 FDDI。 FDDI 使用光纤介质,提供 100Mbps 的速率。既可以作为局域网,也可以做广域网。而 100Mbps 的光纤以太网的出现把 FDDI 消灭了。如果我在局域网里可以使用以太网,为啥我不可以直接把局域网扩展到更大的范围呢? 与其使用额外的设备,不如继续使用以太网。如果使用其他协议,就不能和现有的以太网互通了。 在局域网占据垄断地位的以太网,当他要开发超过100M的通信介质,就把速率低于 以太网的光纤网络一个一个的消灭了。SDH 但是能提供155 Mbit/s 的速度,但是在千兆光纤以太网面前又如何能抵挡。传统的光纤通信格式在以太网面前不断沦陷。 SONET/SDH 和 ATM 被寄予厚望。毕竟 SONAT 能提供更快的速率。但是在万兆以太网和十万兆以太网的夹击下,市场越来越小。 与此同时,IP 网络的发展也推波助澜。传统上的电信网络,是为了支持“电话” 这一目的,用来跑 IP 包,反而有种杀鸡用牛刀的感觉,成本上无法敌过直接使用以太网作为IP网的承载。当 40G/100G 以太网完成标准化的时候,传统电信网络的木日就到来了。毕竟,对运营商来说,电话越来越少了,IP业务越来越多了。使用更适合承载IP网的技术不是更好的选择吗? 最后连电话都使用 SIP 网关,运营商改用IP网承载电话业务。 ...

November 24, 2016

脑洞:可编程网卡

很久以前,网卡就只是个物理协议转换装置。各种数据的处理都是靠的 CPU。随着网卡支持的速率的提升,还有人们对效率的追求,网卡开始支持将一些操作给 offload 到网卡上执行。比如checksum的计算。再后来,连 TCP 这样的协议都可以直接交给网卡处理。叫 TCP offload。 网卡能 offload 的东西越多,高网络负载下的 cpu 使用率就越低。数据处理也就越有效率。 既然连 TCP 都能交给网卡处理了,为何不更进一步实行通用 offload 呢? 通用 offload 的实现,可以参考显卡的通用可编程渲染管线。搞一个通用网络包处理管线。指定个shader语言,就叫 network shader吧。把 network shader 载入网卡,就可以让网卡执行 network shader 处理收到的数据包。对于太复杂的逻辑,再转给 CPU 上的代码处理,简单的逻辑就可以直接片上处理完成。这对很多 “数据包转发类“ 的引用程序(各种Proxy)来说,可以极大的提升性能。

November 21, 2016