三相220v供电可行性再论

经过深思熟虑,我提出了一种新的居民用电供电模式: 即三相220伏4线制供电。以适应未来更大的入户功率需求。 特点为: - 入户线路为3根火线,一条地线,没有零线。 - 火线和火线之间的电压为220v。火线对地电压 130v。 - 入户电表设计三相不平衡保护开关 - 使用任意2条火线来兼容老的单相220v设备,继续提供 220v 的 2孔和3孔插座。 - 三相设备使用4脚插座。 不同供电制度下的对比如下: 220v三相 220v 单相 380v三相 240v 直流 电压危险性 中 中 高 中 每1kw功率电流 2.63A 4.55A 1.52A 4.17A 线材成本系数 2.63 * 3+1 4.55 * 2+1 1.52 * 4+1 4.17 * 2 电能质量 高 低 (100hz功率波动) 高 高 异步电机转矩 恒转矩 100hz 转矩波动 恒转矩 无法使用 故障保护成本 中 低 中 高 三相失横危险性 低 高 高 无 三相失横表现 欠压 (罢工) 过压 (烧毁) 或 欠压(罢工) 过压(烧毁) + 失压 无 380v 三相异步电机兼容性 星接改三角 无法使用 直接使用 无法使用 220v 三相异步电机兼容性 直接使用 无法使用 三角改星接 无法使用 220v 单相电机兼容性 接任意2火线 (三相不平衡) 直接使用 接任一火线 (三相不平衡) 无法使用 开关电源兼容性 接任意2火线 (三相不平衡) / 整流后输入 (三相平衡) 直接使用 接任一火线(三相不平衡) 直接使用 全桥整流后电压 310v 310v 540v 240v 电子器件耐压等级 650v 650v 1200v 450v 输入整流成本 650v耐压二极管*6 + 小电容 650v耐压二极管*4 + 大电容 + NTC 1200v耐压二极管*6 + 小电容 小电容 逆变方式 310v 直流母线 + 6管全桥逆变 310v 直流母线+4管全桥逆 540v直流母线 + 6管全桥逆变 在三种供电制度下,各自有最适合的电机,而相同功率下的不同电机的成本对比: ...

February 11, 2025

LLC 的调频控制

LLC 调压的的物理原理 LLC 之所以叫 LLC , 是因为电路等效为 两个 L 和一个 C。但那是分析用的,实际上电路就一个 L 和一个 C。 当然故意接2个 L 也可以的。只不过会增加成本。 LLC 谐振的原理呢,其实就是LC振荡器。但是不是自激振荡,而是他激。根据激发他的外部输入电路的不同,分为全桥LLC和半桥LLC。 LLC 为何通过调节频率,能调节输出电压呢? 看电路: LLC 尽管实际电路上就一个 变压器和一个电容,但是因为变压器有漏感,所以 LLC 可以看成是 一个 LC 滤波器接上一个变压器。 是的,没错,就是一个 LC 滤波器。 这个 LC 滤波器呢,就有一个谐振频率,高于它的和低于它的频率,能量都会被削弱。 因此,当外部输入的频率,高于或者低于谐振频率的时候,等于这个 LC 滤波器对输入的交流电进行了滤波。也就是被衰减。那么衰减后施加在变压器上的电压就不再是原始电压了。 于是次级绕组输出电压就降低。 只有工作在谐振频率的时候,滤波器增益为 1, 也就是能量完全通过滤波器。于是次级绕组输出电压最大。 但是,我要说但是了。为啥 LLC 一定要有漏感呢? 而且漏感还不能小。其实主要原因是:这个滤波器的谐振频率是会随着负载变化的。 漏感越大,则谐振频率随负载变化越小。 为啥谐振频率会变化呢? 这就要说到变压器的特点了。变压器的初级绕组能量完全传递给次级,那么铁芯就不会有磁链。也就是说,这个线圈不会产生电感。 如果次级没有能量消耗,那么电流的能量就会转换成磁链储存在铁芯里。也就是说,这个线圈会有个最大的电感。 因为现实变压器不是理想变压器,因此,初级的能量无法完全传递给次级。所以这个无法完全传递过去的能量就会驻留在铁芯里,形成 “漏感”。在传统的反激或者正激变换器里,漏感是个坏东西。要尽量消除。 而在 LLC 架构里,这个漏感反而是必须的。因为如果没有漏感,则次级完全消纳初级能量后,LC谐振电路因为没有电感就被破坏掉了。 在 LLC 架构里,漏感不仅仅需要,而且还得很大。因为变压器哦绕组的电感,会随着次级消耗的能量多寡而变动,因此,这个 LC 滤波器,电路中串入的 L 的数值就会变动。这导致滤波器的谐振频率会有一个很大的变动。为了降低谐振频率的变动范围,就需要变压器有较大的漏感。或者,外部再串入一个电感。 调频不是为了调压 很多对 LLC 的理解不深刻的人,很容易把 LLC 看成是一种通过调节 pwm 频率来调节输出电压的拓扑结构。其实这种做法是严重错误的。 ...

February 6, 2025

动能回收的实现方式

电动汽车进行动能回收的原理就是电动机可以作为发电机使用。 但是具体是怎么实习的呢? 方法1,当发电机使用 发电机发的电,如何转换成直流电? 答案是 整流,然后经过 Boost 升压。为何要升压呢?因为感应电动势小于电池电压。 也就是说动能回收的时候,电机输出电压要小于电池电压。因此整流后,还要经过一个升压,然后就能冲入电池了。 调节升压电路的输出电压,就可以调节充电电流,也就是调节了动能回收的功率。 因此动能回收可以是一条独立的电路。其电路就是 6个二极管构成的三相整流桥 + 1或2个 mos管构成的非同步或同步Boost升压电路。 方法2,使用4象限逆变器 前一个方法要增加一套电路,成本大大的。其实完全可以复用逆变器的电路。 那么具体的来说,就是让逆变器输出的三相电压的相位,完全跟随电动机旋转时产生的3个反电动势电压的相位。但是,逆变器输出的电压,略低于电动机的反电动势。 于是,电流就会逆向流动。从电动机反向流入逆变器的直流母线。 导致直流母线电压抬升。 而逆变器的直流母线又是和电池并联的,于是电流逆向流入电池。完成充电。 而控制逆变器的输出电压和电机反电动势的电压差,就可以控制充电电流的大小。 进而控制动能回收功率。 其实做过三相功率因素矫正电路的人都知道,其电路也是6个MOS管。实际上三相带功率因素矫正的整流电路,本质上就是个工作在动能回收模式的逆变器。只是和电机的逆变器直接使用角度传感器获得转子位置(进而获得各相电压相位)不同,功率因素矫正电路使用锁相环电路获得市电的相位。 而且,使用此方法,也不需要对电控的代码进行修改。 哈哈,这是为啥呢? 因为现有的电控代码,都是使用 DQ 坐标系进行控制的。在控制代码里,其实只要简单的将 闭环控制目标设定为输出负 Q轴电流,剩下的代码,自动的就会将逆变器的工作模式切换为上述流程。 不需要额外增加代码。 既然正向输出的 “功率限制” 功能都是现成的,那么动能回收控制功率就是换个正负号的事情。

January 27, 2025

电机控制的几个思索

关于能量转化上的思考 电动机,供电即转。转即发电。 无负载的情况下,电机无功率输出,(理论上)无功率消耗。 通电即转,和无功率消耗的矛盾是如何化解的呢?那就是“反电动势”。 在无负载的情况下,电机的转速会达到反电动势等于输入电压。 此时输入电压完全和反电动势抵消。于是绕组实际上无电流通过。因此不产生扭矩。故 电压*0电流 = 0 功率。 只要有负载,转速就会低于空载转速,于是反电动势低于输入电压。绕组产生电流,建立磁场,电机产生扭矩输出。 因此电机消耗的电流,大致相当于 (输入电压 - 反电动势)/绕组阻抗。 注:绕组阻抗是由电阻和电抗叠加而来的。因此超导做的绕组依然不会有无穷大电流。 关于空挡滑行再启动 在控制策略上,空挡滑行有2种控制策略 切断供电回路 控制器停止工作并切断回路(6个MOS管全部关闭)。切断电路后,电机空挡旋转产生的反电动势没有回路。因此不产生电流。电机进入空挡滑行状态。 控制器输出电压跟随反电动势,确保绕组无电流 此模式下,控制器继续积极工作。但是始终保证控制器输出的电压等于电机反电动势。确保相电流为0。 第二种模式下,电机空挡滑行的时候,控制器仍然在积极工作,因此存在不大不小的损耗。 从节能减排的角度而言,应该优先选择第一种策略。 那么第二种策略是为何产生的呢? 答案就是在空挡滑行状态再加速(松油门滑行后,再踩油门加速)的情况下。二者会产生不同的响应特点。 切断回路模式的再加速工作特点 由于控制器停止工作,因此控制器输出电压为 0。 因此,再加速的时候,控制器输出电压就需要“重新建立”。控制器的输出电压会经历一次从 0 到超过反电动势电压的一个“攀升”的过程。值得一提的是,在控制器输出0电压的时候,因为6管全关,因此起到了切断电路的效果,因此只有控制器 开始工作,电压输出开始不为0的时候,电路才接通。 这个过程虽然很短暂(一般而言是几十个毫秒),但是在攀升的过程中,存在短暂的控制器输出电压低于电机反电动势的时间。这个时间电机就会输出负扭矩。如果这个负扭矩较大,就会在体感上形成一个类似燃油车挂档不合适导致的“顿挫” —— 松离合器的时候,发动机被车速强行带上更高转速,从而导致一段时间内发动机输出负扭矩。 故为了消除这个顿挫,才有了控制器持续工作的空挡滑行模式。 相电流闭环控制为0的再加速特点 由于使用了闭环控制。因此空挡后再加速的时候,只要将闭环控制的电流目标调节为 > 0 即可立即输出扭矩。 不会经历一个短暂的 “顿挫” 过程。 强制动能回收 但是,在空挡滑行的时候,还让控制器持续工作,意味着不能实现6个 mos管全关的节能模式。 舒适了,但是并不节能。 如果强制动能回收。则可以强迫驾驶员用自己的脚避免进入 “松油门滑行” 状态。等于完全取消了这个工况。 因此即避免了关控制器模式的顿挫,也避免了闭环0电流滑行的损耗。 与此同时,还不需要设计 机械刹车和动能回收的协调工作。 三赢。

January 26, 2025

福特和福建的弹射技术对比

电磁弹射,被加速的舰载机总重,30吨,即3万公斤;加速长度100米,加速时间2.2秒,舰载机末端速度,85米每秒;总耗电能38度;瞬间功率6万千瓦。 福特航母在上实际90年代立项。 上世纪90年代,哪家公司能拿出功率达到 6万千瓦的变频器和储能40度电的超级电容呢? 这就是有时候,先驱变成先烈的问题。 因为当年没有大功率的逆变器技术, 因为超大功率的逆变器是随着特高压直流输电才研发出来的。 所以福特就只能上不需要逆变器的异步电机。由发电机直接供电。 发电机直接供电,瞬间大负载下,发电机的转速(也就是发电频率)就会掉。而没有任何原动机能实现这么快速的调频。 防止掉频率的方法就是加大质量的飞轮。作用就和拖拉机上的那个大飞轮一样。 依靠飞轮的巨大惯性,防止发电机转子转速下降。 而且动能回收也非常简单,异步电机只要转速超过同步转速就自动进入发电状态。 因此只要给回收缆绳上接一个电机,飞机降落的时候以极高的速度拉扯缆绳。缆绳带动电机发电,这个电直接并入航母电网。由于缆绳带动的是异步电机, 因此不需要同步就可以并网。电能输入航母电网。然后整个航母电网电压提升,带着飞轮的发电机由于电网不再从发电机汲取能源,导致发电机变为电动机,从电网提取能量。 从而实现储能。 所以,这个交流技术其实是很成熟很稳定的。 由于整个系统的交流频率和飞轮转速挂钩。因此是运行在在某个区间内“变动”的频率上的。和陆地上固定频率的电网不同。 但是频率的范围也不能太大。猜测系统频率在 350hz ~ 450hz 之间。 这样有效的频率范围就只有 100hz 。 也就是说, 0-350hz 这个区间对应的飞轮转速是 “无用转速”。 因此飞轮质量必须非常大,转速必须非常高。这样才能在狭窄的可用转速区间内,输出足够的储能。 由于4条弹射器不可能同时运作。其1是放飞跑道有交叠,其二是为了飞机起飞后的涡流干扰考虑。 因此,基于控制成本的考虑,福特使用的是 4台发电机+4个飞轮+4个弹射器 这样的组合。但是每台发电机只有1万千瓦功率。这样可以大幅降低总成本和总质量。 这样,运作的时候,实际上就是4台发电机并联发电,但是每次只给一台弹射器供电。 为了避免4台发电机之间复杂的相位同步并网问题,福特使用的每条弹射器,是4条直线电机并联输出动力的。 这意味着,4台发电机少一台,弹射器就无法工作。 下面是我画的示意图: 从结构图里可以很清晰的推断出来,福特航母弹射器坏一条就4条不能用。 但是,只要每个零件的可靠性做的很高,那么整个系统的可靠性也不是说不能用。 因此,福特的技术路线,并不是错误的,不可取的。 而是着眼于当年的技术水平限制做的设计。 而一旦掌握了特高压直流输电,就一定会掌握一个重要技术:超大功率直流/交流逆变器。 这个逆变器是弹射器能使用“直流供电”的前置技术。 而一旦有了这个逆变器,则整个设计可以“直流化”。 整个系统架构如下图: 注意这个储能电池和电网之间,实际上并不需要任何“控制器”。而是直接并联。 比如这个电池使用 3700v 电池组。(一千节锂电池串联)。 那么只要是输出 4200v 电压的发电机,都可以并到这个直流电网里。 只要用电侧使用功率低于发电功率,电池就会自动“吸纳”多余电流。 而只要用电侧使用功率高于发电功率,电池就会自动放电维持电网电压。 这个是电池的工作性质决定的。 实际上每台汽车,都有这么一个直流电网。这个电网就是靠12v蓄电池进行稳压储能的。 12v蓄电池满电电压是 14.4v,因此汽车发电机输出一个14.4v电压。并且和电池直接并联。 电池未充满的情况下,发电机输出电压被电池拉低。发电机输出最大功率。电池充电功率 = 发电机功率-用电功率。 发电机工作在恒流模式。电池充满达到14.4v 后。发电机在内部稳压系统的作用下,会减小励磁电流,进而减少发电功率。发电机工作在恒压模式。如果有个瞬时的大功率用电设备开启,则整个系统电压就会偏离 14.4v 。 电池自动进入放电模式来弥补发电机的功率缺口。 这就是直流电网的巨大“储能优势”。并不需要复杂的控制器,仅仅是将电池并联到电网上就可以全自动实现储能和放能。 ...

January 15, 2025

资本主义绝户计

全世界的文明,都陷入了一个困境:经济越是发达,生育率越低。 很多人说,这是因为经济发达了,妇女受教育程度高了。女性不愿意生孩子了。 这就是典型的胡说八道。但是这种错误认知居然还是当下的主流认知。 为什么说这个认知是错误的呢?女性接受教育就会自我阉割放弃生育权? 这个错误的离谱之处在于,否认了男性在抚养后代上的承担。仿佛孩子只要生下来就可以自动长大。 生孩子只要幸苦10个月,养孩子则要幸苦一辈子。 只要这个社会进步到了,孩子不能管生不管养,生育率就会断崖式下跌。和女性是否接受教育没有关系。 让生育率下跌的,从来不是所谓的女权觉醒,而是养育孩子的成本越来越高。高到6个钱包都无力供养的情况下,自然整个社会就开始自我绝育了。 在进行进一步论述前,首先要在基本观念上取得共识: 人,首先要养活自己,然后才谈的上养育后代。 人,都希望自己的下一代活的比自己好。 一个族群人口是否扩张,取决于这2个先决条件。 一个人人都无法养活自己的族群,必然人口萎缩。就算孩子出生率很高,也必然面临大量的夭折儿童。 一个人人只能缩衣节食,然后一代过的不如一代的族群,必然也是人口萎缩的。就算勉强为了所谓的传宗接代而维持出生率。面对一代过的不如一代的事实,也会让人心生绝望。直到某一代,连养活自己都无法维持。 好了,有了以上的共识,为啥说资本主义是绝户计呢? 造不如买,买不如租 我们知道,造不如买,买不如租。比如过去大户人家,他们虽然会有很多“家生子”,但是府中奴仆的主力来源依然是 “买”。(所谓“家生子”是指家中奴仆生育的后代,由主人完全出资养大。)根本原因就是因为养大一个家生子的开销,远大于从外部购买一个已经成年的劳动力。 而买不如租,就是资本主义的逻辑。买来的奴仆,主人还是要负责他的生老病死。 而租来的奴仆,主人完全享受他“健康壮年期”的劳动,而不需要承担其他任何开销。 20岁-60岁,资本家只需要花费 400万 就可以买断一个人一辈子的劳动。 这 400万,资本家获得的是一个 “上过大学”,接受过优质教育的奴仆。而且400万是上限。期间奴仆如果生病了,不能履行职责了,都可以换一个。换一个人是没有额外成本的。甚至还可以要求租来的奴仆在无法履职的期间反向赔偿主人的损失。 如果资本家不使用“租”的方式。他要支付多少钱呢? 首先,从0岁养到大学毕业,资本家要支出大约200万。 而且,还有一定的“废品率”。也就是说有一部分买来的奴仆,将永久性无法承担高级工作。 其次,20岁到60岁,资本家虽然不需要支付工资,但是期间的衣食住行一样要大约支付200-300万。 最后,60岁开始,奴仆无力劳动,但是还是要养他到老。期间的衣食住行差不多还得 100万。 看到没?使用“雇佣制”下,资本家节约了大量的“养育”成本。同时不承担“废品率”。资本家唯一多支出的期间,是壮年期,给奴仆发放的工资,要高于“养一个奴仆”的衣食住行开支。 而这部分多列的开支,已经用“不承担养育和养老成本”给节约回来了。而且还免去了“养废“的风险。 而且还有一个重大优势:不需要等待二十几年才能获得一个高级奴仆。而是可以立即获得。 与此同时,租来的壮年期的奴仆工作效率也远远高于买来的奴仆。哪怕不考虑节约的养育和养老开销,租相比买都是赚了的。 好了,这是雇佣制替代奴隶制背后的经济逻辑。 那么这个经济逻辑为何会影响生育率呢? 劳动力再生产 在资本主义下,人是被 “物化”的。因此我这里也使用物化的逻辑看待人口。 劳动力,其实也是一种”生产资料"。由氨基酸构成,葡萄糖驱动的机器,和钢铁构成,烃烷驱动的机器,在资本家的眼里是没有区别的。都是生产线的组成部分。 一条生产线,任何一个零件老化,都需要生产一个新的零件换上。 对资本家来说,这叫“产线更新”。 资本家需要将商品利润的一部分,投入“生产线的更新”。 但是很不巧的是,在资本主义制度下,氨基酸构成的机器,其“生产线的更新”成本是由机器自己承担的。 也就是说,资本家将人力资源的使用方式,等同于“石油天然气”一样的“不可再生矿产”。 采取的做法是用完就废弃。然后去别的地方挖新的。 因此,资本主义才会不断的谋求“产业链转移”。将钢铁构成的生产线不断的移动到有新鲜的氨基酸零件的地方。 一旦将这个地方的氨基酸机器挥霍的差不多了,就转移到另一个地方。 资本家并不谋求这些氨基酸构成的产线零件的 “可持续更新”。 至于这些零件如果还有祖传的责任,于是以极大的压缩自身需求为代价,努力的为资本家培养下一代耗材,则资本家不过是减缓了产业链转移的速度。 因为,这样做,必然导致 ”活的越来越差“。而这是反人性的。 生育率 所以生育率的降低的根本原因已经呼之欲出了。就是资本主义下,对人力资源是涸泽而渔的。 除非人力资源自己能放弃自己身为人的尊严,只为“产子”这一个目的而活。 而耗材一旦不放弃人的尊严,就被扣上了 “知识越多越不生” 的帽子。 然后用所谓的“生育率下降是经济发展的必然结果”来忽悠

January 8, 2025

调用约定和上下文切换

编写协程库的时候,我常常在想,上下文切换的速度,受调用约定的影响非常大。 因为用户协程的上下文切换,本质上是调用一个 函数。而这个函数需要 “切换” 非易失性寄存器。 因此,在给定的调用约定下,非易失性寄存器越多,则上下文切换时需要保留和恢复的寄存器数量就越多。 而由内核进行上下文切换(也就是线程),所有寄存器都得保留。开销是最大的。何况还有执行特权级切换的巨大开销。 在知乎上发表的批评 云风的 coroutine 库的文章的评论区里,有个人提到了 这篇文章。 好家伙,他们对内联汇编玩出花来了。使用内联汇编的 clobbered registers 列表来自动生成寄存器的保存和恢复代码。 然后,他们给 clang 提了一个补丁,增加了一个叫 preserve_none 的调用约定。 所谓 preserve_none,顾名思义,就是这个调用约定下,尽可能啥寄存器都不保留,全是易失性寄存器。 于是,如果使用 preserve_none 的调用约定实现 zcontext_swap, 则代码里并不需要保留上下文。只需要切换 rsp 寄存器,然后调用下 hook 即可返回了。 zcontext_swap_preserve_none: // 保存frame寄存器 push %rbp // 切换栈指针 mov %rsp, (%r12) mov (%r13), %rsp // 恢复 frame 寄存器 pop %rbp // if(hook_function) hook_function(argument); test %r14, %r14 jne 1f // 返回 argument mov %r15, %rax // 返回 ret 1: // 如果有 hook ,则调用 hook 后返回 mov %r15, ARG1_REG mov %r15, %r12 // 同时兼容 preserve_none 调用约定 的 hook jmp * %r14 // 开启尾调用优化. 在 无 hook 的情况下,只需 8 条指令即完成上下文切换。 ...

January 3, 2025

在Linux上交叉编译windows版 Qt 和 qt应用

准备工具链 一个半月前,我研究了一下 使用本机 clang 进行交叉编译。那时候,是在本机 x86 上交叉编译 arm 和 mips 架构的软件。目标系统还是 linux 的。 交叉编译,需要使用交叉工具链。而使用本机clang进行交叉编译,只是将交叉工具链里的“编译器”换成了本机本就安装的 clang, 而 “头文件和库文件” 则是使用 archlinux 和 mips debian 的 rootfs 提供。 缺啥库,qemu-user + chroot 进去后直接安装即可。 关于如何进行异构chroot, 我在 chroot to arm on an x86 Gentoo 和 异构容器 里分别讲述过。 但是,一个合格的开发者,怎么可能只写 Linux 程序呢? 非常自然的,交叉编译到 windows 上也是一个正经需求。 要交叉到 windows 上,通常的做法是使用 MinGW。MinGW 不仅仅是一套移植到 Windows 上的 gcc 工具链,还是一套在 Linux 下产生exe文件的交叉编译器。 但是正如标签里的 clang 所言,本篇介绍的,可不是 MinGW , 而是继续使用本机的 clang 进行交叉编译 exe。 编译器本机早就有了,头文件和库呢? 答案是,还得从 mingw 里拿。 通常来说, mingw 里是一套 “自由” 的 sdk. 意味着它使用 动态链接的 MSVCRT.DLL 作为 C 库, 然后辅之以 libmingw32-1.dll 作为 posix 兼容层,然后 libgcc-1.dll 作为 编译器运行时。 然后是 libwinpthread-1.dll 提供 pthread ,然后使用 libstdc++-1.dll 提供 c++ 标准库。 ...

December 31, 2024

协程切换为什么需要 一个 hook_function 参数.

前言 刚刚,我将 zcontext 的 API 进行了以下修正。 从 void* zcontext_swap(zcontext_t* from, zcontext_t* to, void* argument); 改成了 typedef void* (*zcontext_swap_hook_function_t)(void*); void* zcontext_swap(zcontext_t* from, zcontext_t* to, zcontext_swap_hook_function_t hook_function, void* argument); 增加了一个 hook_function。这是为何呢?这个 hook_function 又是怎么使用的呢?在什么情况下运行呢? 别着急,我一一道来。 需求1:自动进行栈回收 协程需要分配一个新栈。而协程执行完毕的时候,需要对分配的栈内存进行回收。 而协程自身是无法执行这个任务的。协程只有不在运行状态,他的栈才能释放。而他在运行状态下,又如何调用 free 释放自己呢? free 本身运行也依赖栈。free 不能把自己正在使用的栈给释放了。 因此,这个需求我用了一些比较绕的方法实现了。其实就是让调度器负责回收。这就限制了调度器只能跑在主线程上。 并且调度器(主事件循环)需要和协程的代码进行一定程度的耦合。 但是为了解决内存泄漏,这个耦合也是不得不为之。其实应该有更好的解决方法的。 需求2:线程安全的协程切换 在多线程运行调度器的情况下,可能发生协程切换的竞争。具体情况如下: 假设运行2个线程执行 GetQueuedCompletionStatus。姑且称为 主线程A, 主线程B. 为了更好的性能,通常的做法是让线程A负责 accept, 而线程B负责处理客户端连接。如果处理客户端有瓶颈,还可以创建更多的线程处理。 这里先简化为2个线程。 系统运行若干个 Accept 协程。并且在接受一个新连接后,创建一个新的处理协程来处理新的连接。 姑且称是协程A吧。某个协程 A 拿到了一个新连接后,创建一个新的处理协程来处理新的连接。 姑且称这个刚刚创建的新协程为 协程C,这个新接受的连接对应 socket C。 好了,协程A, 接受了一个新连接,然后创建了 协程 C。此时协程 C 和协程 A ,都是在主线程 A 上运行的。 这时,我们要往socket C 上投递 WSARecv 了。此时投递是在 主线程A上进行的。由于 socket C 绑定了线程B的 IO完成端口,因此稍后 会在主线程 B 上获得完成事件。此时协程 C 是在 线程 A 上运行的。调用 WSARecv 后,紧接着就要进行“协程挂起”操作。 正常来说,线程B获得socket C 的完成事件后,就会恢复协程C。于是,协程 C 后续就在 线程 B 上运行了。 ...

December 28, 2024

从0开始写上下文切换

有栈协程的核心是执行上下文。执行上下文的核心是栈。 因此,切换栈就等于切换了上下文。 栈在协程切换上的核心地位 栈,存储了一个协程/线程 的“调用链”,以及依附于这条链上的“变量”。 没有栈,ret 指令将无所适从。 虽说栈是核心,但是栈本质是堆叠存储“历史 寄存器状态”。而当前没有入栈的寄存器状态,才是真正的当前上下文。 因此,很多古代协程库的做法,是栈协程“句柄” 上,开辟一个数百字节的空间。用于存放当下的CPU寄存器的数值。 上下文切换的时候,就是把当前 cpu 寄存器拷到句柄空间,然后从新协程的句柄空间里把寄存器的值一个一个读回来。 这种做法,是认可 “CPU寄存器数值的集合” 是当前上下文。栈不过是其中一个寄存器指向的一块内存区域,没什么特别的。 但是,boost.fcontext 另辟蹊径。他唯一指定 栈为协程的正统核心。当前的 cpu 寄存器状态,可以通过“调用 上下文切换” 函数,变成 上一层的 “历史状态”。 于是本层所要做的,就只是切换栈。在切换栈前,也只须将本层寄存器状态入栈。切换后,再将寄存器状态出栈。 因此,在 boost.fcontext 眼里,代表协程正统的,不是那个存储了几百个字节的寄存器数值的句柄空间,而是 栈顶指针。 而用于引用协程的那个句柄, fcontext_t 结构,不过就是存储了一个栈顶指针。 而不像 ucontext_t 那样,好家伙洋洋洒洒数百字节体积。 这就是对“何谓上下文”的理解理念不同带来的设计差异。 这点设计差异,造成了数据结构的不同。数据结构都不同了,自然上下文切换的代码也不尽相同了。正是所谓的,数据结构决定了算法。 来个上下文切换代码看看 作为对比,看下 ucontext 系是怎么做上下文切换的: 这就是不同的设计理念带来的差异。 ucontext 认为 cpu寄存器是上下文,栈只是其中一个寄存器所引用的附属上下文。 而 boost.fcontext 则认为,栈就是上下文的全部。包括了所有的寄存器历史。 所谓寄存器的历史,是说进行函数调用的时候,编译器会生成入栈指令保留寄存器的数值,以便函数返回后能恢复这些寄存器的值。于是在调用链上,每一层调用帧上面都保留了一份寄存器的“快照‘ 既然寄存器的快照就在栈上留着,那只要把当前的状态再“压栈”一次。那么所有的上下文,不就都用一个栈顶表达了吗? 显然我们会发现,将栈视为协程的核心,能极大的简化代码。 这点差异,还影响了 make_context 的设计。 新建协程 一个协程上下文切换库,只需要编写3个函数 上下文切换 新上下文创建 新上下文的出生点 其中,新建上下文的出生点代码,是不需要暴露给用户的内部使用代码。另外两个,是作为库接口的形式存在的。 上下文的切换,在上节已经赘述过了。就是当前状态 push 入栈。然后切换栈顶,然后 pop 出栈。大功告成。 傻瓜式的代码。 ...

December 26, 2024

链接到 ucrtbase.dll

使用 vc6.0 以后的 VS 编译器,最恼火的一点就是生成的 exe 依赖 msvcrXXX.dll。 其中 XXX 是个版本号。而且 msvcrXXX.dll 系统是不自带的。 于是每个 exe 都得带上 vcredist.exe 安装程序。 过于蛋疼。 正统的解决方法是改使用静态C库。 但是会带来二进制体积暴涨的问题。 十分的怀念 VC6.0 可以生成exe 依赖 msvcrt.dll, 不带版本号那种。而不带版本号的那个,每个 windows 都会自带。 有比较多的偏门方式,可以在 vc6 以后的版本继续链接到 msvcrt.dll 。但是一来是偏方,而来在 vs2017 以后这些偏方也没用了。 后来对此也不甚钻研了,直接无脑静态链接了。 最近,突然又关心起 msvcrt 问题,因为用了下 LLVM MinGW。然后在 readme 里看到了 UCRT 介绍。 UCRT? UCRT 是啥? 原来微软也发现大家不爽带版本号的 msvcrXXX.dll。于是用 C++ 以 extern “C” 的方式重写了它的 C 运行时。 这个重写的新C运行时就是 UCRT。每个 win 都会带上。名为 ucrtbase.dll 和 Debug 版的 ucrtbased.dll。 连这个UCRT的,还有新的 vcruntimeXXX.dll。而过去 C++ 运行时是 msvcpXXX.dll 。 ...

December 23, 2024

boost.fcontext 为何快?

在 批评 libco 的 上下文切换代码的时候,我曾经说,协程的上下文切换代码,并不需要恢复所有的寄存器。 只需要恢复调用约定里规定的 “非易失性寄存器”。 只有操作系统进行抢占式调度的时候,才需要恢复所有的寄存器。因为抢占式调度,可以在任何时间任何地方中断线程。如果不恢复所有寄存器,则在线程的角度看来就是寄存器的值可以任何时间任何地方突然“自主改变”。 而由用户执行的协程调度则不然。上下文切换,一定是代码里“主动”调用某个控制权转移接口实现的。 而这个控制权转移接口,在编译器看来,不过是一次再正常不过的外部函数调用。只要按照约定,准备好寄存器。。 并且在它返回的时候,自主恢复易失性寄存器。 是的没错,调用它的地方,本来就假定易失性寄存器的数值会改变。 因此,在协程的上下文切换函数里,根本没有任何必要恢复易失性寄存器的内容。只需要恢复非易失性寄存器即可。 为了验证我的设想,我写了一个 zcontext 进行了验证。 这个 zcontext 已提交进 uasync 代码仓库,详情看 commit 不过我这上下文切换,只恢复了8个非易失性通用寄存器。对16 个 MMX 寄存器,还有 AVX 寄存器,都没有进行恢复。 不知道会不会出问题。于是就仔细的研读了 boost.context 的汇编代码。希望研究下怎么恢复 SSE 和 AVX 寄存器。 注:boost.context 里负责上下文切换的 汇编写的 api 叫 fcontext 。 结果发现 fcontext 的做法和我的不能说完全一样,简直是一模一样。 无非是我用了 一排 push + 一排 pop 做的切换,而它的代码使用了 mov 指令。但都是等价的。 也只恢复了非易失性通用寄存器和 2个 80387状态寄存器。 这下总算完全理解为啥 boost.context 称自己的性能天下无敌了。 因为确实没有比这更快的上下文切换方式了。 由此可见,libco 的作者还真是水货一个。他引以为傲的那段汇编代码,就是一坨羊粪。

December 18, 2024

点评 腾讯 的 协程库 libco

序 libco 是 腾讯开源的一个协程库。噱头很大,动不动就是承载了微信后台亿万并发。 敢说个不马上被喷成狗头。但是我偏就是要对这些光有名头没啥技术的东西祛魅。 上一片文章 里,点评了云风的 coroutine库,其中提到了 libco 犯了和云风一样的错。 其实 libco 的错误要比云风还要多的多。 废话不多说,接下来点评 libco libco 错在哪里 首先错误的,仓库上一篇,他和云风的错误是一样的。表述相同的部分就不特别说明了。 1 协程库不应该干涉程序结构 但是 libco 的此进入非彼侵入。云风的侵入,是需要永久性的携带 struct schedule *S, 而 libc 的侵入,则是,它根本就不让你正常的用阻塞的思维模式设计你的代码结构。 我们那它源码里自带的 example_echosrv.cpp 举例 这是它一个建议的 echo server。前面介绍 iocp4linux 的时候,我就贴过正统代码。 算了,还是直接给个对比吧。 图片里两端代码,下面的是正统协程库写的 echo server 里的 accept 循环。 而上面那段则是 libco 里的例子。 正如我图片里的吐槽那样,腾讯的 libco 在编写代码的时候,很容易陷入不知所谓的境地。 这就是因为它库设计的缺陷,所以必须要用很绕的方式组织代码逻辑。 2 协程库不应该强依赖一个调度器 还是刚刚腾讯自己写的 example_echosrv.cpp 例子。 这次是 main 函数。 这不仅仅是依赖调度器了,这是必须,也只能使用 libco 的事件循环。 如果云风的库只能算对你壁咚,那腾讯的库就是把你裤子都扒光了后入。 当然,不可否认一些人有网红膜拜症,非要被玩一把才开心。 当然,如果他的库已经实现的比较完善,那么使用他的事件循环,调用他封装好的 IO api,也未尝不可以接受。神神曾经说过,被强奸的时候,反抗不了,就要学会享受。 ...

December 17, 2024

点评 云风 的 C库 coroutine

序 在知乎上看到两篇 吹嘘 云风的 coroutine 库的文章。 人啊就是这样的,出名了以后,就是垃圾也有人吹捧。 今天来点评下,云风的 coroutine 到底垃圾在哪里。又或者说,一个优秀的协程,应该优秀在哪里。 云风错在哪里 首先一个优秀的协程库,要做到“自然”。 什么是“自然”呢?就是要做到尽量不改变原来写同步阻塞IO逻辑的时候的代码。 因此引出第一错: 1 协程库不应该侵入 API 设计 要使用云风的协程,被调度的协程必须有如下的函数签名 void coroutine_function(struct schedule *S, void* arg); 注意到那个 struct schedule *S 参数了吗?要使用协程,必须带上这个参数。 哪怕本层级的函数并不直接调用 IO, 也就是不会直接用到 struct schedule *S 参数,他也得带上,并将 struct schedule *S 传给所有他要调用的函数。 也就是整个程序所有的函数都得带上 struct schedule *S 参数。 这也是 asio 的有栈协程设计失败的地方。一旦使用了有栈协程,所有的函数都得加上 asio::yield_context 参数。 如果只是某个会调用 IO 的函数需要带上这个 休眠器 还好。但是假设这样的调用链条 A -> B -> C -> D, 最终在 D函数里调用了 async_read(); 那显然,为了让整条路径能实现逐级传递 struct schedule *S, 必然会让这条调用链上的所有函数都带上 struct schedule *S 参数。 ...

December 16, 2024

基于 ucontext + iocp4linux 的超简协程库

虽然说,使用 异步最佳的实践是使用协程。 然而 c++20 的协程并不总是可用的。总不能说,不能更新编译器的地方就不配写代码吧。 因此,我在上一篇文章里说道,可以继续忍受回调地狱。或者使用有栈协程。 当然,如果使用 asio , 那么一切问题都不存在。asio 支持 有栈协程,无栈协程,daff‘s device 协程,还有最基础的,回调模式。 asio 简直就是个“宇宙级” 的异步库。 然而,asio 也并不总是可用。 于是,基于 ucontext 的一个超简协程库就应运而生。 首先,这个不是一个独立的库,他其实顺手带在 uasync 里。作为 universal_fiber.h 头文件提供。 就隐藏在 iocp4linux 的 example 代码里。 见 echo_server_stackfull.c 没错,这次是个 C 代码。尽管我非常讨厌 C。 这个库,只是为了演示如何将 proactor 和有栈协程给结合起来。虽然我本人建议最好使用 c++20 的协程。但是总有人是升级不了编译器的。 因此我再三思考后,决定还是写一个小 demo 来演示 proactor 和有栈协程 如何极便捷的结合。 对于这么一个简单的 echo server 例子,作为对比,同文件夹下的 echo_server_callback.cpp 就是基于回调的。可以直观感受下,基于回调和基于协程的代码可读性。 先看有栈和无栈例子对比 这个是 echo server 左边有栈协程和右边无栈协程的 accept 循环的代码对比 不能说毫无差别,简直可以说是一模一样 也就是说有栈和无栈,是只存在底层工作机制的差异 没有使用上的差异。 这就是 universal_fiber.h 和 universal_async.hpp 的威力。 关于那个无栈协程 universal_async.hpp 的分析,参考 这篇文章 ...

December 15, 2024

深入异步IO 第二篇: 正确使用 IOCP,正确设计 proactor

前言 干了那么多年码农,遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写,到后来基本上依赖 asio 写。 最近研究 io_uring 后,试着用 io_uring 把 IOCP 那套 API 实现了。 以前呆在 asio 的舒适区,根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的,当我研究IOCP的时候, 以前被我忽略掉的那群写 IOCP 的程序员,突然进入了我的视线。 当我研究了他们对异步的一些吐槽后,才发现了一个真相:大部程序员并不懂异步。 尤其是,我由于不熟悉 IOCP,故而为了给 iocp4linux 找测试用例,而翻遍网络,寻找使用 IOCP 写成的一些网络代码示例。 能跑通它们,才算 iocp4linux 功能完成了。对吧。 结果,大部分 IOCP 的例子,虽然能跑。但是我研究了他们的代码后发现,统统都是错误的。完全没有领会到异步IO的精髓。根本就 没有真正的理解异步IO。 所以,我打算写数篇最深入剖析异步IO的引导文章,足够教会大家 真正的异步思维。 Reactor 和 Proactor ACE 作者当年提出了数个高性能网络IO的模型,其中将这些模型总结为 Reacto 和 Proactor。如果按字母意思翻译, 则称为 反应器 和前摄器。 但是,我更愿意使用更精准的汉语表达:多路复用模式 和 重叠IO模式。 多路复用模式 前一篇文章说道,要想实现单线程并发IO, 内核必须要提供的2个机制。在 多路复用模式下,要求的机制就是 可读写状态通知 和 无阻塞IO操作。 无阻塞IO操作 要求内核在IO不能立即完成的情况下,不能挂起调用线程,而是返回错误。但是此时代码不应该进入无限重试,而是等待内核的通知。 可读写状态通知 如果一个 IO 操作接下来可以无阻塞立即执行,则通知程序,现在可以干活而不会失败了。 比如我写一个 server,调用 read() 读取客户端发送的数据。如果客户端还未发送数据。则内核会挂起线程直到对方发送数据。然后 read 就执行成功并返回了。 ...

December 14, 2024

深入理解异步IO

前言 干了那么多年码农,遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写,到后来基本上依赖 asio 写。 最近研究 io_uring 后,试着用 io_uring 把 IOCP 那套 API 实现了。 以前呆在 asio 的舒适区,根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的,当我研究IOCP的时候, 以前被我忽略掉的那群写 IOCP 的程序员,突然进入了我的视线。 当我研究了他们对异步的一些吐槽后,才发现了一个真相:大部程序员并不懂异步。 尤其是,我由于不熟悉 IOCP,故而为了给 iocp4linux 找测试用例,而翻遍网络,寻找使用 IOCP 写成的一些网络代码示例。 能跑通它们,才算 iocp4linux 功能完成了。对吧。 结果,大部分 IOCP 的例子,虽然能跑。但是我研究了他们的代码后发现,统统都是错误的。完全没有领会到异步IO的精髓。根本就 没有真正的理解异步IO。 所以,我打算写数篇最深入剖析异步IO的引导文章,足够教会大家 真正的异步思维。 线程的由来 现在的程序员大部分都是新世纪后出生的。所以早就忘记了线程的设计初衷了。我看到大部分新世纪程序员都说线程是为了并发,为了压榨cpu的性能。 其实多线程压榨 cpu 的性能,是最近十几年才有的。而线程的历史,和操作系统一样古老。 计算机诞生的前半个世纪,CPU都是单核的。那时候就已经有了多线程。 所以,线程的最初真正作用,实际上出乎现在的程序员的意料:是为了实现异步IO。 DOS 下的 IO 在个人电脑的上古时代,一个打字员的日常工作,是打字,然后 按下键盘上的 Ctrl-S。接着去泡杯茶去喝。 当 wps 要将文档存入软盘,意味着这段时间,整台电脑都处于“不可操作”的状态。 直到软驱磁头吭呲吭呲的干完活,当前的应用才会复活,能继续执行其他任务了。 为啥会这样呢?因为 DOS 是一个单任务的操作系统,不支持多线程。这就意味着,DOS 不支持异步 IO。WPS要写磁盘,就只能等待 DOS 完成文件写入。 期间整个电脑都无法干其他工作。 这个问题,直到“多任务系统”的出现才解决。当然,多任务系统,出现的比 DOS 早多了,只不过,引入 PC 领域要晚的多。一直到 windows 出现。 ...

December 13, 2024

批量提交IO提升性能

在基本完成 iocp4linux 后,我抽空在 rockpi 上测了下性能。 使用仓库里自带的例子 test/web_server/server.cpp,我测得了大约 6000req/s 的性能。 还不错。但是和 PC 上超过十万的性能相比,有那么点。。。弱鸡。 但是我通过 htop 注意到了一点。wrk 压测的时候, cpu1 是 cpu 100%。而且都是 红色的。说明cpu 都花在内核时间上了。 这也是 io_uring 很牛逼的原因:活都让内核干了。 ==。 rockpi 是个6核的soc, 其中 cpu1-cpu4 (我设定 htop 的 cpu 从 1 开始数。)是个 1.4Ghz 的小核。cpu5,cpu6 才是 1.8Ghz 的大核。 这 不仅仅一核有难,5核围观。这特么干活的还是个小核。 于是果断找原因,发现是中断亲和性的设定问题。将中断迁移到 cpu5 后,测试发现干活的就是 1.8Ghz 的大核啦。 然后性能飙到超过 9000req/s。 之前测试的性能忘记记录了,这次随手截图留存了。 嘿嘿,果然给力。这优化。还是免费的。 就在我沾沾自喜的时候,我又随手测试了以下 老中医写的 proxy_server。它里面带了一个简单的 http server。 wrk 压测以下,我了个去的。轻轻松松 1.6万req/s。 asio 你大爷还是你大爷! 于是我琢磨着进行优化。 我想到了 io_uring 提交 IO 的两步曲: ...

December 10, 2024

超轻量级 IOCP 协程库

在 上一篇 文章里,我提出了 iocp4linux 。 在编写 iocp4linux 的过程中,我需要写一些测试代码。 一开始,我随便的找了一个基于 IOCP 的 echo test 和一个简单的 web server。 首先确保这弄来的例子能在 windows 上编译通过。 然后修改 ifdef _WIN32守卫,在 linux 平台上改为使用 iocp.h 头文件。 然后很轻松的就移植到 linux 上了。 但是,我对于这些 C 风格的 demo 并不满意。因为我完全改不动他们的代码。 于是,我想着,何不写一个超级轻量级的一个封装库? 这个库,应该做到跨平台 —— 指能同时兼容原版 windows.h和 iocp.h。然后代码尽量短小,同时又足够易用。 最后。我折腾出了一个超轻量级的协程库。 废话不说,先看一段 异步 accept 的代码: 在红框处,使用的是 windows 上的异步 accept 。 在 AcceptEx 调用的时候,传入了一个 ov 对象。 这个 ov 对象,类型是 awaitable_overlapped 。 awaitable_overlapped 可以隐式转换为 WSAOVERLAPPED* 从而被 AcceptEx 所接受。 由于是异步 IO , 这时代码会继续向下运行。一般如果是在非协程的代码里。此时就应该返回函数。 然后把 accpet 的后续逻辑,放到 调用 GetQueuedCompletionStatus 的事件循环里了。 ...

December 8, 2024

IOCP 移植到Linux上

序 windows 高性能IO使用的是 proactor 模型,而古代 Linux 上则是 reactor 模型。 因此跨平台的网络库,通常会选择实现为其中一种模型,然后在另一个平台上使用模拟。 比如 asio 使用 proactor 模型。Linux 上使用 epoll 模拟。 又比如 libevent 使用 reactor 模型, windows 上使用 iocp 模拟。 而将 iocp 模拟为 epoll 的库,就是 wepoll 了。 但是,reactor 比较是一种比较落后的模型。因此,进行跨平台封装为 proactor 实际上是更先进的做法。 虽然已经有 asio 这种 proactor 库了,但是毕竟 asio 是一个比较重量级的库。一种轻量级的 proactor 库 也是非常有市场的。 更何况,既然有 wepoll 这种把 Linux api 弄到 windows 上的库,那没有 Linux IOCP 就说不过去了。 于是我决定,开发一个 Linux 版的 IOCP 库。这样方便使用 IOCP 开发的各种软件可以方便的迁移到 Linux 平台。而无需重写。 如何实现呢? 如果是在很久以前,这件事其实还是比较复杂的。然而,嘿嘿。从 linux 5.1 开始,一个崭新的名为 io_uring 的系统接口诞生了。 ...

December 4, 2024