深入理解异步IO

前言 干了那么多年码农,遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写,到后来基本上依赖 asio 写。 最近研究 io_uring 后,试着用 io_uring 把 IOCP 那套 API 实现了。 以前呆在 asio 的舒适区,根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的,当我研究IOCP的时候, 以前被我忽略掉的那群写 IOCP 的程序员,突然进入了我的视线。 当我研究了他们对异步的一些吐槽后,才发现了一个真相:大部程序员并不懂异步。 尤其是,我由于不熟悉 IOCP,故而为了给 iocp4linux 找测试用例,而翻遍网络,寻找使用 IOCP 写成的一些网络代码示例。 能跑通它们,才算 iocp4linux 功能完成了。对吧。 结果,大部分 IOCP 的例子,虽然能跑。但是我研究了他们的代码后发现,统统都是错误的。完全没有领会到异步IO的精髓。根本就 没有真正的理解异步IO。 所以,我打算写数篇最深入剖析异步IO的引导文章,足够教会大家 真正的异步思维。 线程的由来 现在的程序员大部分都是新世纪后出生的。所以早就忘记了线程的设计初衷了。我看到大部分新世纪程序员都说线程是为了并发,为了压榨cpu的性能。 其实多线程压榨 cpu 的性能,是最近十几年才有的。而线程的历史,和操作系统一样古老。 计算机诞生的前半个世纪,CPU都是单核的。那时候就已经有了多线程。 所以,线程的最初真正作用,实际上出乎现在的程序员的意料:是为了实现异步IO。 DOS 下的 IO 在个人电脑的上古时代,一个打字员的日常工作,是打字,然后 按下键盘上的 Ctrl-S。接着去泡杯茶去喝。 当 wps 要将文档存入软盘,意味着这段时间,整台电脑都处于“不可操作”的状态。 直到软驱磁头吭呲吭呲的干完活,当前的应用才会复活,能继续执行其他任务了。 为啥会这样呢?因为 DOS 是一个单任务的操作系统,不支持多线程。这就意味着,DOS 不支持异步 IO。WPS要写磁盘,就只能等待 DOS 完成文件写入。 期间整个电脑都无法干其他工作。 这个问题,直到“多任务系统”的出现才解决。当然,多任务系统,出现的比 DOS 早多了,只不过,引入 PC 领域要晚的多。一直到 windows 出现。 ...

December 13, 2024

批量提交IO提升性能

在基本完成 iocp4linux 后,我抽空在 rockpi 上测了下性能。 使用仓库里自带的例子 test/web_server/server.cpp,我测得了大约 6000req/s 的性能。 还不错。但是和 PC 上超过十万的性能相比,有那么点。。。弱鸡。 但是我通过 htop 注意到了一点。wrk 压测的时候, cpu1 是 cpu 100%。而且都是 红色的。说明cpu 都花在内核时间上了。 这也是 io_uring 很牛逼的原因:活都让内核干了。 ==。 rockpi 是个6核的soc, 其中 cpu1-cpu4 (我设定 htop 的 cpu 从 1 开始数。)是个 1.4Ghz 的小核。cpu5,cpu6 才是 1.8Ghz 的大核。 这 不仅仅一核有难,5核围观。这特么干活的还是个小核。 于是果断找原因,发现是中断亲和性的设定问题。将中断迁移到 cpu5 后,测试发现干活的就是 1.8Ghz 的大核啦。 然后性能飙到超过 9000req/s。 之前测试的性能忘记记录了,这次随手截图留存了。 嘿嘿,果然给力。这优化。还是免费的。 就在我沾沾自喜的时候,我又随手测试了以下 老中医写的 proxy_server。它里面带了一个简单的 http server。 wrk 压测以下,我了个去的。轻轻松松 1.6万req/s。 asio 你大爷还是你大爷! 于是我琢磨着进行优化。 我想到了 io_uring 提交 IO 的两步曲: ...

December 10, 2024

超轻量级 IOCP 协程库

在 上一篇 文章里,我提出了 iocp4linux 。 在编写 iocp4linux 的过程中,我需要写一些测试代码。 一开始,我随便的找了一个基于 IOCP 的 echo test 和一个简单的 web server。 首先确保这弄来的例子能在 windows 上编译通过。 然后修改 ifdef _WIN32守卫,在 linux 平台上改为使用 iocp.h 头文件。 然后很轻松的就移植到 linux 上了。 但是,我对于这些 C 风格的 demo 并不满意。因为我完全改不动他们的代码。 于是,我想着,何不写一个超级轻量级的一个封装库? 这个库,应该做到跨平台 —— 指能同时兼容原版 windows.h和 iocp.h。然后代码尽量短小,同时又足够易用。 最后。我折腾出了一个超轻量级的协程库。 废话不说,先看一段 异步 accept 的代码: 在红框处,使用的是 windows 上的异步 accept 。 在 AcceptEx 调用的时候,传入了一个 ov 对象。 这个 ov 对象,类型是 awaitable_overlapped 。 awaitable_overlapped 可以隐式转换为 WSAOVERLAPPED* 从而被 AcceptEx 所接受。 由于是异步 IO , 这时代码会继续向下运行。一般如果是在非协程的代码里。此时就应该返回函数。 然后把 accpet 的后续逻辑,放到 调用 GetQueuedCompletionStatus 的事件循环里了。 ...

December 8, 2024

IOCP 移植到Linux上

序 windows 高性能IO使用的是 proactor 模型,而古代 Linux 上则是 reactor 模型。 因此跨平台的网络库,通常会选择实现为其中一种模型,然后在另一个平台上使用模拟。 比如 asio 使用 proactor 模型。Linux 上使用 epoll 模拟。 又比如 libevent 使用 reactor 模型, windows 上使用 iocp 模拟。 而将 iocp 模拟为 epoll 的库,就是 wepoll 了。 但是,reactor 比较是一种比较落后的模型。因此,进行跨平台封装为 proactor 实际上是更先进的做法。 虽然已经有 asio 这种 proactor 库了,但是毕竟 asio 是一个比较重量级的库。一种轻量级的 proactor 库 也是非常有市场的。 更何况,既然有 wepoll 这种把 Linux api 弄到 windows 上的库,那没有 Linux IOCP 就说不过去了。 于是我决定,开发一个 Linux 版的 IOCP 库。这样方便使用 IOCP 开发的各种软件可以方便的迁移到 Linux 平台。而无需重写。 如何实现呢? 如果是在很久以前,这件事其实还是比较复杂的。然而,嘿嘿。从 linux 5.1 开始,一个崭新的名为 io_uring 的系统接口诞生了。 ...

December 4, 2024

用iouring扩展asio

序 什么叫扩展asio? Beast给Asio增加了 HTTP 协议,不叫扩展asio。那什么叫扩展asio? 举个例子,给 asio 的 socket 对象,基于io_uring提供的 IORING_OP_SHUTDOWN 增加 async_shutdown() 接口,就算扩展asio。因为原本asio并没有异步shutdown功能。而且这个功能并不能靠组合原有的asio接口实现。这就叫扩展asio。 扩展asio, 又不能修改asio的代码。看起来有点难办。 好在,asio的设计也是有一定的扩展性的,并非完全依赖修改源码实现扩展。 但是不可避免的,需要使用 asio::detail:: 名字空间下的非公开接口。 那么,就从 async_shutdown 开始,讲解如何扩展asio吧! 接口形式 不修改asio代码的大前提下,要给一个对象增加一个 async_shutdown() 的成员函数那是痴人说梦。语言上就禁了此路。 不过,有两种绕过的做法 其一。写一个新的socket对象,自 asio::ip::tcp::socket 继承。然后增加一个成员函数。缺点是所有使用 socket 的地方都得修改一下类型。有了IDE的重构大法,实际上为了能异步关闭而进行的迁移并不算特别大的工作量。但是如果有不需要牵一发而动全身的修改,会更好。 其二。写一个全局函数,接受一个 asio::ip::tcp::socket 并将他异步关闭。 第二个方法,不需要对整个项目进行大手术。只需要在需要异步关闭的地方,将原来的同步关闭 ( socket.shutdown();),替换为 co_await async_shutdown(socket, defered); 从设计美学上来说,第二个方法更好。 操作系统接口 扩展asio, 并不是使用asio现有接口去实现一个功能。比如beast利用 asio现有的socket接口就能实现在其基础上增加 HTTP 协议支持。 我们要给 asio 的 socket 增加异步关闭功能,是实打实的让asio多了原本不存在的功能。那么显然,这样的功能,首先我们得问一问,操作系统支持吗? 如果操作系统不支持一个功能,我们想破天也没法给asio扩展出这个功能。 答案是,异步关闭socket只有io_uring支持了。windows 上虽然也支持异步关闭,但是需要使用 WSAEventSelect + WSAWaitForMultipleEvents + shutdown 组合使用。IOCP不支持异步关闭。没有能传 overlaped* 的 WSAShutdown 版本。 asio 的接口组织结构 asio 暴露给用户的接口为2种对象,其一为 executor ,其二为 io_object. executor 一般而言就是 asio::io_context。而 io_object 则通常就是 socket 咯。 ...

November 21, 2024