基于 ucontext + iocp4linux 的超简协程库

虽然说,使用 异步最佳的实践是使用协程。 然而 c++20 的协程并不总是可用的。总不能说,不能更新编译器的地方就不配写代码吧。 因此,我在上一篇文章里说道,可以继续忍受回调地狱。或者使用有栈协程。 当然,如果使用 asio , 那么一切问题都不存在。asio 支持 有栈协程,无栈协程,daff‘s device 协程,还有最基础的,回调模式。 asio 简直就是个“宇宙级” 的异步库。 然而,asio 也并不总是可用。 于是,基于 ucontext 的一个超简协程库就应运而生。 首先,这个不是一个独立的库,他其实顺手带在 uasync 里。作为 universal_fiber.h 头文件提供。 就隐藏在 iocp4linux 的 example 代码里。 见 echo_server_stackfull.c 没错,这次是个 C 代码。尽管我非常讨厌 C。 这个库,只是为了演示如何将 proactor 和有栈协程给结合起来。虽然我本人建议最好使用 c++20 的协程。但是总有人是升级不了编译器的。 因此我再三思考后,决定还是写一个小 demo 来演示 proactor 和有栈协程 如何极便捷的结合。 对于这么一个简单的 echo server 例子,作为对比,同文件夹下的 echo_server_callback.cpp 就是基于回调的。可以直观感受下,基于回调和基于协程的代码可读性。 先看有栈和无栈例子对比 这个是 echo server 左边有栈协程和右边无栈协程的 accept 循环的代码对比 不能说毫无差别,简直可以说是一模一样 也就是说有栈和无栈,是只存在底层工作机制的差异 没有使用上的差异。 这就是 universal_fiber.h 和 universal_async.hpp 的威力。 关于那个无栈协程 universal_async.hpp 的分析,参考 这篇文章 ...

December 15, 2024

深入异步IO 第二篇: 正确使用 IOCP,正确设计 proactor

前言 干了那么多年码农,遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写,到后来基本上依赖 asio 写。 最近研究 io_uring 后,试着用 io_uring 把 IOCP 那套 API 实现了。 以前呆在 asio 的舒适区,根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的,当我研究IOCP的时候, 以前被我忽略掉的那群写 IOCP 的程序员,突然进入了我的视线。 当我研究了他们对异步的一些吐槽后,才发现了一个真相:大部程序员并不懂异步。 尤其是,我由于不熟悉 IOCP,故而为了给 iocp4linux 找测试用例,而翻遍网络,寻找使用 IOCP 写成的一些网络代码示例。 能跑通它们,才算 iocp4linux 功能完成了。对吧。 结果,大部分 IOCP 的例子,虽然能跑。但是我研究了他们的代码后发现,统统都是错误的。完全没有领会到异步IO的精髓。根本就 没有真正的理解异步IO。 所以,我打算写数篇最深入剖析异步IO的引导文章,足够教会大家 真正的异步思维。 Reactor 和 Proactor ACE 作者当年提出了数个高性能网络IO的模型,其中将这些模型总结为 Reacto 和 Proactor。如果按字母意思翻译, 则称为 反应器 和前摄器。 但是,我更愿意使用更精准的汉语表达:多路复用模式 和 重叠IO模式。 多路复用模式 前一篇文章说道,要想实现单线程并发IO, 内核必须要提供的2个机制。在 多路复用模式下,要求的机制就是 可读写状态通知 和 无阻塞IO操作。 无阻塞IO操作 要求内核在IO不能立即完成的情况下,不能挂起调用线程,而是返回错误。但是此时代码不应该进入无限重试,而是等待内核的通知。 可读写状态通知 如果一个 IO 操作接下来可以无阻塞立即执行,则通知程序,现在可以干活而不会失败了。 比如我写一个 server,调用 read() 读取客户端发送的数据。如果客户端还未发送数据。则内核会挂起线程直到对方发送数据。然后 read 就执行成功并返回了。 ...

December 14, 2024

深入理解异步IO

前言 干了那么多年码农,遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写,到后来基本上依赖 asio 写。 最近研究 io_uring 后,试着用 io_uring 把 IOCP 那套 API 实现了。 以前呆在 asio 的舒适区,根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的,当我研究IOCP的时候, 以前被我忽略掉的那群写 IOCP 的程序员,突然进入了我的视线。 当我研究了他们对异步的一些吐槽后,才发现了一个真相:大部程序员并不懂异步。 尤其是,我由于不熟悉 IOCP,故而为了给 iocp4linux 找测试用例,而翻遍网络,寻找使用 IOCP 写成的一些网络代码示例。 能跑通它们,才算 iocp4linux 功能完成了。对吧。 结果,大部分 IOCP 的例子,虽然能跑。但是我研究了他们的代码后发现,统统都是错误的。完全没有领会到异步IO的精髓。根本就 没有真正的理解异步IO。 所以,我打算写数篇最深入剖析异步IO的引导文章,足够教会大家 真正的异步思维。 线程的由来 现在的程序员大部分都是新世纪后出生的。所以早就忘记了线程的设计初衷了。我看到大部分新世纪程序员都说线程是为了并发,为了压榨cpu的性能。 其实多线程压榨 cpu 的性能,是最近十几年才有的。而线程的历史,和操作系统一样古老。 计算机诞生的前半个世纪,CPU都是单核的。那时候就已经有了多线程。 所以,线程的最初真正作用,实际上出乎现在的程序员的意料:是为了实现异步IO。 DOS 下的 IO 在个人电脑的上古时代,一个打字员的日常工作,是打字,然后 按下键盘上的 Ctrl-S。接着去泡杯茶去喝。 当 wps 要将文档存入软盘,意味着这段时间,整台电脑都处于“不可操作”的状态。 直到软驱磁头吭呲吭呲的干完活,当前的应用才会复活,能继续执行其他任务了。 为啥会这样呢?因为 DOS 是一个单任务的操作系统,不支持多线程。这就意味着,DOS 不支持异步 IO。WPS要写磁盘,就只能等待 DOS 完成文件写入。 期间整个电脑都无法干其他工作。 这个问题,直到“多任务系统”的出现才解决。当然,多任务系统,出现的比 DOS 早多了,只不过,引入 PC 领域要晚的多。一直到 windows 出现。 ...

December 13, 2024

批量提交IO提升性能

在基本完成 iocp4linux 后,我抽空在 rockpi 上测了下性能。 使用仓库里自带的例子 test/web_server/server.cpp,我测得了大约 6000req/s 的性能。 还不错。但是和 PC 上超过十万的性能相比,有那么点。。。弱鸡。 但是我通过 htop 注意到了一点。wrk 压测的时候, cpu1 是 cpu 100%。而且都是 红色的。说明cpu 都花在内核时间上了。 这也是 io_uring 很牛逼的原因:活都让内核干了。 ==。 rockpi 是个6核的soc, 其中 cpu1-cpu4 (我设定 htop 的 cpu 从 1 开始数。)是个 1.4Ghz 的小核。cpu5,cpu6 才是 1.8Ghz 的大核。 这 不仅仅一核有难,5核围观。这特么干活的还是个小核。 于是果断找原因,发现是中断亲和性的设定问题。将中断迁移到 cpu5 后,测试发现干活的就是 1.8Ghz 的大核啦。 然后性能飙到超过 9000req/s。 之前测试的性能忘记记录了,这次随手截图留存了。 嘿嘿,果然给力。这优化。还是免费的。 就在我沾沾自喜的时候,我又随手测试了以下 老中医写的 proxy_server。它里面带了一个简单的 http server。 wrk 压测以下,我了个去的。轻轻松松 1.6万req/s。 asio 你大爷还是你大爷! 于是我琢磨着进行优化。 我想到了 io_uring 提交 IO 的两步曲: ...

December 10, 2024

超轻量级 IOCP 协程库

在 上一篇 文章里,我提出了 iocp4linux 。 在编写 iocp4linux 的过程中,我需要写一些测试代码。 一开始,我随便的找了一个基于 IOCP 的 echo test 和一个简单的 web server。 首先确保这弄来的例子能在 windows 上编译通过。 然后修改 ifdef _WIN32守卫,在 linux 平台上改为使用 iocp.h 头文件。 然后很轻松的就移植到 linux 上了。 但是,我对于这些 C 风格的 demo 并不满意。因为我完全改不动他们的代码。 于是,我想着,何不写一个超级轻量级的一个封装库? 这个库,应该做到跨平台 —— 指能同时兼容原版 windows.h和 iocp.h。然后代码尽量短小,同时又足够易用。 最后。我折腾出了一个超轻量级的协程库。 废话不说,先看一段 异步 accept 的代码: 在红框处,使用的是 windows 上的异步 accept 。 在 AcceptEx 调用的时候,传入了一个 ov 对象。 这个 ov 对象,类型是 awaitable_overlapped 。 awaitable_overlapped 可以隐式转换为 WSAOVERLAPPED* 从而被 AcceptEx 所接受。 由于是异步 IO , 这时代码会继续向下运行。一般如果是在非协程的代码里。此时就应该返回函数。 然后把 accpet 的后续逻辑,放到 调用 GetQueuedCompletionStatus 的事件循环里了。 ...

December 8, 2024

IOCP 移植到Linux上

序 windows 高性能IO使用的是 proactor 模型,而古代 Linux 上则是 reactor 模型。 因此跨平台的网络库,通常会选择实现为其中一种模型,然后在另一个平台上使用模拟。 比如 asio 使用 proactor 模型。Linux 上使用 epoll 模拟。 又比如 libevent 使用 reactor 模型, windows 上使用 iocp 模拟。 而将 iocp 模拟为 epoll 的库,就是 wepoll 了。 但是,reactor 比较是一种比较落后的模型。因此,进行跨平台封装为 proactor 实际上是更先进的做法。 虽然已经有 asio 这种 proactor 库了,但是毕竟 asio 是一个比较重量级的库。一种轻量级的 proactor 库 也是非常有市场的。 更何况,既然有 wepoll 这种把 Linux api 弄到 windows 上的库,那没有 Linux IOCP 就说不过去了。 于是我决定,开发一个 Linux 版的 IOCP 库。这样方便使用 IOCP 开发的各种软件可以方便的迁移到 Linux 平台。而无需重写。 如何实现呢? 如果是在很久以前,这件事其实还是比较复杂的。然而,嘿嘿。从 linux 5.1 开始,一个崭新的名为 io_uring 的系统接口诞生了。 ...

December 4, 2024