基于 ucontext + iocp4linux 的超简协程库

虽然说,使用 异步最佳的实践是使用协程。 然而 c++20 的协程并不总是可用的。总不能说,不能更新编译器的地方就不配写代码吧。 因此,我在上一篇文章里说道,可以继续忍受回调地狱。或者使用有栈协程。 当然,如果使用 asio , 那么一切问题都不存在。asio 支持 有栈协程,无栈协程,daff‘s device 协程,还有最基础的,回调模式。 asio 简直就是个“宇宙级” 的异步库。 然而,asio 也并不总是可用。 于是,基于 ucontext 的一个超简协程库就应运而生。 首先,这个不是一个独立的库,他其实顺手带在 uasync 里。作为 universal_fiber.h 头文件提供。 就隐藏在 iocp4linux 的 example 代码里。 见 echo_server_stackfull.c 没错,这次是个 C 代码。尽管我非常讨厌 C。 这个库,只是为了演示如何将 proactor 和有栈协程给结合起来。虽然我本人建议最好使用 c++20 的协程。但是总有人是升级不了编译器的。 因此我再三思考后,决定还是写一个小 demo 来演示 proactor 和有栈协程 如何极便捷的结合。 对于这么一个简单的 echo server 例子,作为对比,同文件夹下的 echo_server_callback.cpp 就是基于回调的。可以直观感受下,基于回调和基于协程的代码可读性。 先看有栈和无栈例子对比 这个是 echo server 左边有栈协程和右边无栈协程的 accept 循环的代码对比 不能说毫无差别,简直可以说是一模一样 也就是说有栈和无栈,是只存在底层工作机制的差异 没有使用上的差异。 这就是 universal_fiber.h 和 universal_async.hpp 的威力。 关于那个无栈协程 universal_async.hpp 的分析,参考 这篇文章 ...

December 15, 2024

深入异步IO 第二篇: 正确使用 IOCP,正确设计 proactor

前言 干了那么多年码农,遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写,到后来基本上依赖 asio 写。 最近研究 io_uring 后,试着用 io_uring 把 IOCP 那套 API 实现了。 以前呆在 asio 的舒适区,根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的,当我研究IOCP的时候, 以前被我忽略掉的那群写 IOCP 的程序员,突然进入了我的视线。 当我研究了他们对异步的一些吐槽后,才发现了一个真相:大部程序员并不懂异步。 尤其是,我由于不熟悉 IOCP,故而为了给 iocp4linux 找测试用例,而翻遍网络,寻找使用 IOCP 写成的一些网络代码示例。 能跑通它们,才算 iocp4linux 功能完成了。对吧。 结果,大部分 IOCP 的例子,虽然能跑。但是我研究了他们的代码后发现,统统都是错误的。完全没有领会到异步IO的精髓。根本就 没有真正的理解异步IO。 所以,我打算写数篇最深入剖析异步IO的引导文章,足够教会大家 真正的异步思维。 Reactor 和 Proactor ACE 作者当年提出了数个高性能网络IO的模型,其中将这些模型总结为 Reacto 和 Proactor。如果按字母意思翻译, 则称为 反应器 和前摄器。 但是,我更愿意使用更精准的汉语表达:多路复用模式 和 重叠IO模式。 多路复用模式 前一篇文章说道,要想实现单线程并发IO, 内核必须要提供的2个机制。在 多路复用模式下,要求的机制就是 可读写状态通知 和 无阻塞IO操作。 无阻塞IO操作 要求内核在IO不能立即完成的情况下,不能挂起调用线程,而是返回错误。但是此时代码不应该进入无限重试,而是等待内核的通知。 可读写状态通知 如果一个 IO 操作接下来可以无阻塞立即执行,则通知程序,现在可以干活而不会失败了。 比如我写一个 server,调用 read() 读取客户端发送的数据。如果客户端还未发送数据。则内核会挂起线程直到对方发送数据。然后 read 就执行成功并返回了。 ...

December 14, 2024

重叠IO(proactor)是最理想的IO模型

reactor 和 proactor , 这种毫无联系的英文专用名词,很容易把人弄晕。 回归正途,使用精确的汉语描述,而非翻译,则正确的说法是: 多路复用IO 和 重叠 IO 模式。 所谓多路复用,顾名思义,就是好几个IO复用。。。 复用了谁?复用了线程。 它对比的是最传统的UNIX网络编程: 一个连接一个线程。并发就要开多线程。连接多了,线程就多,系统压力非常大。 而多路复用,则可以让一个线程处理多个连接。这就是复用的含义。为了实现复用,首先IO是非阻塞的。因为如果阻塞了线程,其他连接上的数据不就没法处理了么。既然非阻塞,那就会出现网络数据没准备好,就一直返回 EAGAIN 错误。一直返回难道一直重试吗?显然不现实。所以就有了一个 多路复用器。这个多路复用器最早是 select() 调用。后来是 poll() 最后是 epoll(). 而重叠IO,顾名思义,就是 IO 操作是重叠的。和什么重叠?当然是和你当前的线程是重叠的。 也就是,向系统提交一个 IO 操作, 系统就会在“后台”默默的干苦力,当前线程可以立即执行其他任务。不会被阻塞。他和多路复用模式的区别是,多路复用模式,如果会阻塞,内核就返回会阻塞,而不是在后台默默干活。而 重叠IO 则即不会阻塞,也不会返回“请重试”。而是在后台开始默默的进行处理。这个IO的处理,和你程序本身的逻辑,是重叠进行的。所以叫重叠IO。 话又说回来了,系统是在后台干活了,你得知道他啥时候干好了吧?总不能两眼一摸黑,不知道了吧。 因此,系统需要一个通知机制。Linux 这边,曾经有一种叫 AIO 的东西,它用 “信号” 来通知 IO 完成了。而如今 Linux 使用 io_uring 的 无锁列队 来完成通知。而 windows 则使用 一个叫“完成队列”的东西来通知,当然也可以使用 窗口消息来通知结果。 不管是 win 的窗口消息,还是linux的 AIO ,在实践中都被人抛弃不用了。因此不讨论这些。 我们讨论 IO完成端口,和 io_uring, 他们本质上是一样的,就是提供一个异步队列,然后应用层可以使用 一个或多个线程,去读取这个队列获得完成通知。每一个IO操作,都对应一个完成通知。 因此,重叠IO模式,其实和传统的编程思路是一致的:每调用一个函数,就获得一个返回值。 无非是,这个返回不是通过 ret 指令返回,返回结果也不是通过 EAX 寄存器返回。 而是存放到了一个消息队列里。 但是,操作请求和结果返回,是一一对应的。这是一种非常自然的概念。 自然而然的,在编程上,就可以设计为 IO发起 + 完成回调。 库的作用,就是封装 系统的 IO api ,然后将 IO完成消息转化为 完成回调。 有了 IO发起+完成回调。很自然的,程序就可以组织为一种 协程结构。 发起IO操作,返回一个 promise . IO完成就是让 promise 完成状态。 想同步IO结果,只要 await 这个 promise 就可以了。 非常的容易理解,而且封装起来也非常的轻松。用起来简直就是爽到high起。 ...

November 19, 2024