<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>IOCP on 菜菜博士</title>
    <link>https://microcai.org/tags/IOCP.html</link>
    <description>Recent content in IOCP on 菜菜博士</description>
    <generator>Hugo</generator>
    <language>zh-cn</language>
    <lastBuildDate>Sun, 15 Dec 2024 00:00:00 +0800</lastBuildDate>
    <atom:link href="https://microcai.org/tags/IOCP/feed.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>基于 ucontext &#43; iocp4linux 的超简协程库</title>
      <link>https://microcai.org/2024/12/15/ucontext-based-uasync.html</link>
      <pubDate>Sun, 15 Dec 2024 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2024/12/15/ucontext-based-uasync.html</guid>
      <description>&lt;p&gt;虽然说，使用 异步最佳的实践是使用协程。&lt;/p&gt;
&lt;p&gt;然而 c++20 的协程并不总是可用的。总不能说，不能更新编译器的地方就不配写代码吧。&lt;/p&gt;
&lt;p&gt;因此，我在上一篇文章里说道，可以继续忍受回调地狱。或者使用有栈协程。&lt;/p&gt;
&lt;p&gt;当然，如果使用 asio ， 那么一切问题都不存在。asio 支持 有栈协程，无栈协程，daff‘s device 协程，还有最基础的，回调模式。
asio 简直就是个“宇宙级” 的异步库。&lt;/p&gt;
&lt;p&gt;然而，asio 也并不总是可用。&lt;/p&gt;
&lt;p&gt;于是，基于 ucontext 的一个超简协程库就应运而生。&lt;/p&gt;
&lt;p&gt;首先，这个不是一个独立的库，他其实顺手带在 uasync 里。作为  universal_fiber.h 头文件提供。&lt;/p&gt;
&lt;p&gt;就隐藏在 iocp4linux 的 example 代码里。
见 &lt;a href=&#34;https://github.com/microcai/iocp/blob/master/example/echo_server/echo_server_stackfull.c&#34;&gt;echo_server_stackfull.c&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;没错，这次是个 C 代码。尽管我非常讨厌 C。&lt;/p&gt;
&lt;p&gt;这个库，只是为了演示如何将 proactor 和有栈协程给结合起来。虽然我本人建议最好使用 c++20 的协程。但是总有人是升级不了编译器的。
因此我再三思考后，决定还是写一个小 demo 来演示 proactor 和有栈协程 如何极便捷的结合。&lt;/p&gt;
&lt;p&gt;对于这么一个简单的 echo server 例子，作为对比，同文件夹下的 echo_server_callback.cpp 就是基于回调的。可以直观感受下，基于回调和基于协程的代码可读性。&lt;/p&gt;
&lt;h1 id=&#34;先看有栈和无栈例子对比&#34;&gt;先看有栈和无栈例子对比&lt;/h1&gt;
&lt;p&gt;这个是 echo server 左边有栈协程和右边无栈协程的 accept 循环的代码对比
&lt;img alt=&#34;img&#34; loading=&#34;lazy&#34; src=&#34;https://microcai.org/images/ucontext_code4.png&#34;&gt;&lt;/p&gt;
&lt;p&gt;不能说毫无差别，简直可以说是一模一样&lt;/p&gt;
&lt;p&gt;也就是说有栈和无栈，是只存在底层工作机制的差异&lt;/p&gt;
&lt;p&gt;没有使用上的差异。&lt;/p&gt;
&lt;p&gt;这就是 universal_fiber.h 和 universal_async.hpp 的威力。&lt;/p&gt;
&lt;p&gt;关于那个无栈协程 universal_async.hpp 的分析，参考 &lt;a href=&#34;https://microcai.org/2024/12/08/super-lightweight-iocp-coroutine.html&#34;&gt;这篇文章&lt;/a&gt;&lt;/p&gt;</description>
    </item>
    <item>
      <title>深入异步IO 第二篇： 正确使用 IOCP，正确设计 proactor</title>
      <link>https://microcai.org/2024/12/14/use-iocp-in-the-right-way.html</link>
      <pubDate>Sat, 14 Dec 2024 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2024/12/14/use-iocp-in-the-right-way.html</guid>
      <description>&lt;h1 id=&#34;前言&#34;&gt;前言&lt;/h1&gt;
&lt;p&gt;干了那么多年码农，遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写，到后来基本上依赖 asio 写。
最近研究 io_uring 后，试着用 io_uring 把 IOCP 那套 API 实现了。&lt;/p&gt;
&lt;p&gt;以前呆在 asio 的舒适区，根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的，当我研究IOCP的时候，
以前被我忽略掉的那群写 IOCP 的程序员，突然进入了我的视线。&lt;/p&gt;
&lt;p&gt;当我研究了他们对异步的一些吐槽后，才发现了一个真相：大部程序员并不懂异步。&lt;/p&gt;
&lt;p&gt;尤其是，我由于不熟悉 IOCP，故而为了给 iocp4linux 找测试用例，而翻遍网络，寻找使用 IOCP 写成的一些网络代码示例。
能跑通它们，才算 iocp4linux 功能完成了。对吧。&lt;/p&gt;
&lt;p&gt;结果，大部分 IOCP 的例子，虽然能跑。但是我研究了他们的代码后发现，统统都是错误的。完全没有领会到异步IO的精髓。根本就
没有真正的理解异步IO。&lt;/p&gt;
&lt;p&gt;所以，我打算写数篇最深入剖析异步IO的引导文章，足够教会大家 真正的异步思维。&lt;/p&gt;
&lt;h1 id=&#34;reactor-和-proactor&#34;&gt;Reactor 和 Proactor&lt;/h1&gt;
&lt;p&gt;ACE 作者当年提出了数个高性能网络IO的模型，其中将这些模型总结为 Reacto 和 Proactor。如果按字母意思翻译，
则称为 反应器 和前摄器。&lt;/p&gt;
&lt;p&gt;但是，我更愿意使用更精准的汉语表达：多路复用模式 和 重叠IO模式。&lt;/p&gt;
&lt;h2 id=&#34;多路复用模式&#34;&gt;多路复用模式&lt;/h2&gt;
&lt;p&gt;前一篇文章说道，要想实现单线程并发IO, 内核必须要提供的2个机制。在 多路复用模式下，要求的机制就是&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;可读写状态通知&lt;/strong&gt; 和 &lt;strong&gt;无阻塞IO操作&lt;/strong&gt;。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;无阻塞IO操作&lt;/strong&gt; 要求内核在IO不能立即完成的情况下，不能挂起调用线程，而是返回错误。但是此时代码不应该进入无限重试，而是等待内核的通知。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;可读写状态通知&lt;/strong&gt; 如果一个 IO 操作接下来可以无阻塞立即执行，则通知程序，现在可以干活而不会失败了。&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;比如我写一个 server，调用 read() 读取客户端发送的数据。如果客户端还未发送数据。则内核会挂起线程直到对方发送数据。然后 read 就执行成功并返回了。&lt;/p&gt;</description>
    </item>
    <item>
      <title>深入理解异步IO</title>
      <link>https://microcai.org/2024/12/13/in-deepth-async.html</link>
      <pubDate>Fri, 13 Dec 2024 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2024/12/13/in-deepth-async.html</guid>
      <description>&lt;h1 id=&#34;前言&#34;&gt;前言&lt;/h1&gt;
&lt;p&gt;干了那么多年码农，遇到 IO 从来都是写异步代码。从最初直面裸 epoll 写，到后来基本上依赖 asio 写。
最近研究 io_uring 后，试着用 io_uring 把 IOCP 那套 API 实现了。&lt;/p&gt;
&lt;p&gt;以前呆在 asio 的舒适区，根本没关注过其他程序员对异步的理解。但是 windows 程序员是最多的，当我研究IOCP的时候，
以前被我忽略掉的那群写 IOCP 的程序员，突然进入了我的视线。&lt;/p&gt;
&lt;p&gt;当我研究了他们对异步的一些吐槽后，才发现了一个真相：大部程序员并不懂异步。&lt;/p&gt;
&lt;p&gt;尤其是，我由于不熟悉 IOCP，故而为了给 iocp4linux 找测试用例，而翻遍网络，寻找使用 IOCP 写成的一些网络代码示例。
能跑通它们，才算 iocp4linux 功能完成了。对吧。&lt;/p&gt;
&lt;p&gt;结果，大部分 IOCP 的例子，虽然能跑。但是我研究了他们的代码后发现，统统都是错误的。完全没有领会到异步IO的精髓。根本就
没有真正的理解异步IO。&lt;/p&gt;
&lt;p&gt;所以，我打算写数篇最深入剖析异步IO的引导文章，足够教会大家 真正的异步思维。&lt;/p&gt;
&lt;h1 id=&#34;线程的由来&#34;&gt;线程的由来&lt;/h1&gt;
&lt;p&gt;现在的程序员大部分都是新世纪后出生的。所以早就忘记了线程的设计初衷了。我看到大部分新世纪程序员都说线程是为了并发，为了压榨cpu的性能。&lt;/p&gt;
&lt;p&gt;其实多线程压榨 cpu 的性能，是最近十几年才有的。而线程的历史，和操作系统一样古老。
计算机诞生的前半个世纪，CPU都是单核的。那时候就已经有了多线程。&lt;/p&gt;
&lt;p&gt;所以，线程的最初真正作用，实际上出乎现在的程序员的意料：是为了实现异步IO。&lt;/p&gt;
&lt;h2 id=&#34;dos-下的-io&#34;&gt;DOS 下的 IO&lt;/h2&gt;
&lt;p&gt;在个人电脑的上古时代，一个打字员的日常工作，是打字，然后 按下键盘上的 Ctrl-S。接着去泡杯茶去喝。&lt;/p&gt;
&lt;p&gt;当 wps 要将文档存入软盘，意味着这段时间，整台电脑都处于“不可操作”的状态。
直到软驱磁头吭呲吭呲的干完活，当前的应用才会复活，能继续执行其他任务了。&lt;/p&gt;
&lt;p&gt;为啥会这样呢？因为 DOS 是一个单任务的操作系统，不支持多线程。这就意味着，DOS 不支持异步 IO。WPS要写磁盘，就只能等待 DOS 完成文件写入。
期间整个电脑都无法干其他工作。&lt;/p&gt;
&lt;p&gt;这个问题，直到“多任务系统”的出现才解决。当然，多任务系统，出现的比 DOS 早多了，只不过，引入 PC 领域要晚的多。一直到 windows 出现。&lt;/p&gt;</description>
    </item>
    <item>
      <title>批量提交IO提升性能</title>
      <link>https://microcai.org/2024/12/10/io_batching-boost-performance.html</link>
      <pubDate>Tue, 10 Dec 2024 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2024/12/10/io_batching-boost-performance.html</guid>
      <description>&lt;p&gt;在基本完成 iocp4linux 后，我抽空在 &lt;a href=&#34;https://wiki.radxa.com/Rockpi4&#34;&gt;rockpi&lt;/a&gt; 上测了下性能。&lt;/p&gt;
&lt;p&gt;使用仓库里自带的例子  test/web_server/server.cpp，我测得了大约 6000req/s 的性能。&lt;/p&gt;
&lt;p&gt;还不错。但是和 PC 上超过十万的性能相比，有那么点。。。弱鸡。&lt;/p&gt;
&lt;p&gt;但是我通过 htop 注意到了一点。wrk 压测的时候， cpu1 是 cpu 100%。而且都是 红色的。说明cpu 都花在内核时间上了。
这也是 io_uring 很牛逼的原因：活都让内核干了。&lt;/p&gt;
&lt;p&gt;==。&lt;/p&gt;
&lt;p&gt;rockpi 是个6核的soc, 其中 cpu1-cpu4 （我设定 htop 的 cpu 从 1 开始数。）是个 1.4Ghz 的小核。cpu5，cpu6 才是 1.8Ghz 的大核。&lt;/p&gt;
&lt;p&gt;这 不仅仅一核有难，5核围观。这特么干活的还是个小核。&lt;/p&gt;
&lt;p&gt;于是果断找原因，发现是中断亲和性的设定问题。将中断迁移到 cpu5 后，测试发现干活的就是 1.8Ghz 的大核啦。&lt;/p&gt;
&lt;p&gt;然后性能飙到超过 9000req/s。&lt;/p&gt;
&lt;p&gt;之前测试的性能忘记记录了，这次随手截图留存了。&lt;/p&gt;
&lt;p&gt;&lt;img alt=&#34;img&#34; loading=&#34;lazy&#34; src=&#34;https://microcai.org/images/iocp4linux_perf_1.jpg&#34;&gt;&lt;/p&gt;
&lt;p&gt;嘿嘿，果然给力。这优化。还是免费的。&lt;/p&gt;
&lt;p&gt;就在我沾沾自喜的时候，我又随手测试了以下 老中医写的 proxy_server。它里面带了一个简单的 http server。
wrk 压测以下，我了个去的。轻轻松松 1.6万req/s。&lt;/p&gt;
&lt;p&gt;&lt;img alt=&#34;img&#34; loading=&#34;lazy&#34; src=&#34;https://microcai.org/images/asio_test1_perf.jpg&#34;&gt;&lt;/p&gt;
&lt;p&gt;asio 你大爷还是你大爷！&lt;/p&gt;
&lt;p&gt;于是我琢磨着进行优化。&lt;/p&gt;
&lt;p&gt;我想到了 io_uring 提交 IO 的两步曲：&lt;/p&gt;</description>
    </item>
    <item>
      <title>超轻量级 IOCP 协程库</title>
      <link>https://microcai.org/2024/12/08/super-lightweight-iocp-coroutine.html</link>
      <pubDate>Sun, 08 Dec 2024 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2024/12/08/super-lightweight-iocp-coroutine.html</guid>
      <description>&lt;p&gt;在 &lt;a href=&#34;https://microcai.org/2024/12/04/iocp-on-linux.html&#34;&gt;上一篇&lt;/a&gt; 文章里，我提出了 &lt;a href=&#34;https://github.com/microcai/iocp&#34;&gt;iocp4linux&lt;/a&gt; 。&lt;/p&gt;
&lt;p&gt;在编写 iocp4linux 的过程中，我需要写一些测试代码。&lt;/p&gt;
&lt;p&gt;一开始，我随便的找了一个基于 IOCP 的 echo test 和一个简单的 web server。
首先确保这弄来的例子能在 windows 上编译通过。&lt;/p&gt;
&lt;p&gt;然后修改 ifdef _WIN32守卫，在 linux 平台上改为使用 iocp.h 头文件。&lt;/p&gt;
&lt;p&gt;然后很轻松的就移植到 linux 上了。&lt;/p&gt;
&lt;p&gt;但是，我对于这些 C 风格的 demo 并不满意。因为我完全改不动他们的代码。&lt;/p&gt;
&lt;p&gt;于是，我想着，何不写一个超级轻量级的一个封装库？
这个库，应该做到跨平台 —— 指能同时兼容原版 windows.h和 iocp.h。然后代码尽量短小，同时又足够易用。&lt;/p&gt;
&lt;p&gt;最后。我折腾出了一个超轻量级的协程库。&lt;/p&gt;
&lt;p&gt;废话不说，先看一段 异步 accept 的代码：&lt;/p&gt;
&lt;p&gt;&lt;img alt=&#34;img&#34; loading=&#34;lazy&#34; src=&#34;https://microcai.org/images/awaitable_overlapped.png&#34;&gt;&lt;/p&gt;
&lt;p&gt;在红框处，使用的是 windows 上的异步 accept 。
在 AcceptEx 调用的时候，传入了一个 ov 对象。
这个 ov 对象，类型是 awaitable_overlapped 。
awaitable_overlapped 可以隐式转换为 &lt;code&gt;WSAOVERLAPPED*&lt;/code&gt; 从而被 AcceptEx 所接受。&lt;/p&gt;
&lt;p&gt;由于是异步 IO ， 这时代码会继续向下运行。一般如果是在非协程的代码里。此时就应该返回函数。&lt;/p&gt;
&lt;p&gt;然后把 accpet 的后续逻辑，放到 调用 &lt;code&gt;GetQueuedCompletionStatus&lt;/code&gt; 的事件循环里了。&lt;/p&gt;</description>
    </item>
    <item>
      <title>IOCP 移植到Linux上</title>
      <link>https://microcai.org/2024/12/04/iocp-on-linux.html</link>
      <pubDate>Wed, 04 Dec 2024 00:00:00 +0800</pubDate>
      <guid>https://microcai.org/2024/12/04/iocp-on-linux.html</guid>
      <description>&lt;h1 id=&#34;序&#34;&gt;序&lt;/h1&gt;
&lt;p&gt;windows 高性能IO使用的是 proactor 模型，而古代 Linux 上则是 reactor 模型。&lt;/p&gt;
&lt;p&gt;因此跨平台的网络库，通常会选择实现为其中一种模型，然后在另一个平台上使用模拟。
比如 asio 使用 proactor 模型。Linux 上使用 epoll 模拟。
又比如 libevent 使用 reactor 模型， windows 上使用 iocp 模拟。&lt;/p&gt;
&lt;p&gt;而将 iocp 模拟为 epoll 的库，就是 &lt;a href=&#34;https://github.com/piscisaureus/wepoll&#34;&gt;wepoll&lt;/a&gt; 了。&lt;/p&gt;
&lt;p&gt;但是，reactor 比较是一种比较落后的模型。因此，进行跨平台封装为 proactor 实际上是更先进的做法。&lt;/p&gt;
&lt;p&gt;虽然已经有 asio 这种 proactor 库了，但是毕竟 asio 是一个比较重量级的库。一种轻量级的 proactor 库
也是非常有市场的。&lt;/p&gt;
&lt;p&gt;更何况，既然有 wepoll 这种把 Linux api 弄到 windows 上的库，那没有 Linux IOCP 就说不过去了。&lt;/p&gt;
&lt;p&gt;于是我决定，开发一个 Linux 版的 IOCP 库。这样方便使用 IOCP 开发的各种软件可以方便的迁移到 Linux 平台。而无需重写。&lt;/p&gt;
&lt;h1 id=&#34;如何实现呢&#34;&gt;如何实现呢？&lt;/h1&gt;
&lt;p&gt;如果是在很久以前，这件事其实还是比较复杂的。然而，嘿嘿。从 linux 5.1 开始，一个崭新的名为 io_uring 的系统接口诞生了。&lt;/p&gt;</description>
    </item>
  </channel>
</rss>
