用iouring扩展asio

序 什么叫扩展asio? Beast给Asio增加了 HTTP 协议,不叫扩展asio。那什么叫扩展asio? 举个例子,给 asio 的 socket 对象,基于io_uring提供的 IORING_OP_SHUTDOWN 增加 async_shutdown() 接口,就算扩展asio。因为原本asio并没有异步shutdown功能。而且这个功能并不能靠组合原有的asio接口实现。这就叫扩展asio。 扩展asio, 又不能修改asio的代码。看起来有点难办。 好在,asio的设计也是有一定的扩展性的,并非完全依赖修改源码实现扩展。 但是不可避免的,需要使用 asio::detail:: 名字空间下的非公开接口。 那么,就从 async_shutdown 开始,讲解如何扩展asio吧! 接口形式 不修改asio代码的大前提下,要给一个对象增加一个 async_shutdown() 的成员函数那是痴人说梦。语言上就禁了此路。 不过,有两种绕过的做法 其一。写一个新的socket对象,自 asio::ip::tcp::socket 继承。然后增加一个成员函数。缺点是所有使用 socket 的地方都得修改一下类型。有了IDE的重构大法,实际上为了能异步关闭而进行的迁移并不算特别大的工作量。但是如果有不需要牵一发而动全身的修改,会更好。 其二。写一个全局函数,接受一个 asio::ip::tcp::socket 并将他异步关闭。 第二个方法,不需要对整个项目进行大手术。只需要在需要异步关闭的地方,将原来的同步关闭 ( socket.shutdown();),替换为 co_await async_shutdown(socket, defered); 从设计美学上来说,第二个方法更好。 操作系统接口 扩展asio, 并不是使用asio现有接口去实现一个功能。比如beast利用 asio现有的socket接口就能实现在其基础上增加 HTTP 协议支持。 我们要给 asio 的 socket 增加异步关闭功能,是实打实的让asio多了原本不存在的功能。那么显然,这样的功能,首先我们得问一问,操作系统支持吗? 如果操作系统不支持一个功能,我们想破天也没法给asio扩展出这个功能。 答案是,异步关闭socket只有io_uring支持了。windows 上虽然也支持异步关闭,但是需要使用 WSAEventSelect + WSAWaitForMultipleEvents + shutdown 组合使用。IOCP不支持异步关闭。没有能传 overlaped* 的 WSAShutdown 版本。 asio 的接口组织结构 asio 暴露给用户的接口为2种对象,其一为 executor ,其二为 io_object. executor 一般而言就是 asio::io_context。而 io_object 则通常就是 socket 咯。 ...

November 21, 2024

asio::promise yyds

最近在写以太坊的巧克力浏览器(区块链浏览器)。因为区块链浏览器需要访问历史的块,因此需要节点以 archive 模式同步。 遂运行了一个 geth。 然而半个月过去了,才同步了四百万高度,而且这四百万高度的最后一百万花了80%的时间。 同步速度以肉眼可见的速度下降,ETA 变的越来越长。 从一个月慢慢的增长到6个月。 于是寻找更快的客户端。找到了 erigon。erigon 号称2天完成 archive 节点同步。 结果牛逼是吹大了啊。最后耗费了10天完成了同步。 geth 在同步的时候, rpc 是可用的,geth 同步到哪里, eth_getBlockNumber 返回的高度就是哪里。 因此在同步的时候,我也开始同步巧克力浏览器的数据了。 巧克力浏览器是通过 eth_getblockbynumber 和 eth_gettransactionreceipt 把所有的交易数据都存入自己的数据库实现的。虽然其实可以等用户浏览到那个块再通过 rpc 获取数据,但是这样轻模式就没有检索功能了。所以还是需要解析所有的交易存入自己的数据库。 最终放弃 geth 二改用 erigon 的时候,巧克力浏览器才同步到一百多万的高度,就被迫停止了。 因为 erigon 只有完成同步,才会更新 eth_getBlockNumber 返回的高度。他同步的方式是先下载所有的块,然后执行,让后更新state数据,然后更新 rpc 接口的数据,然后获取最新高度,然后把落下的全下载回来,然后执行,让后更新state数据,然后更新 rpc 接口的数据,然后获取最新高度,然后把落下的全下载回来,然后执行,让后更新state数据,然后更新 rpc 接口的数据,然后获取最新高度…… 直到最后每次批处理的块只有1个,就算同步彻底完成。 如果 eth_getBlockNumber 一直返回 0 高度,我的浏览器就没法同步了,于是只能等。 问题是,他第一次的批量的时候,就试图从 0 一直批量执行到 1401万高度。结果,执行了10天才批量执行完。这一等就是十天, 等到了除夕前一天啊。执行完毕后,就再次落后十万高度了,于是进入第二次批处理。因为我在机械盘上运行 erigon,因此 erigon 最后会永远落后几百到几千个高度,不过这个是后话,第一次批处理完成后,我的浏览器又可以开起来同步了 结果,我对巧克力浏览器的同步速度非常的不满了。 因为,按同步速度估算,可没法10天完成巧克力浏览器的同步。大约需要20天,而且 ETA 在增加!最后可能达到了三年之久。为啥我能提前知道eta在增加呢?因为我观察到,同步空快很快,同步内部有交易的块就慢下来了。早期空块多,但是后期基本都是满块。满块的同步速度低到令人发指的超过数秒! 经过研究发现,速度是慢在了 get_transactionreceipt 上。这个接口对未缓存的交易返回速度需要数百毫秒。第二次调用其实几个毫秒就返回了. 而巧克力浏览器访问的都是数年前的交易,都是属于 old data。因此每次调用它都要等待几百毫秒。 如果一个块里有个一百个交易,同步速度就惊人的 slow down 了。 ...

February 4, 2022

多WAN平衡

曾经我也搞了两条宽带,见 使用邻居的CMCC网络 。 然后利用路由器的loadbalance就可以使用多条线路了。 但是,问题恰恰在这里。效果并不好。因为2条宽带并不是一样容量的,对同一目标的访问速度也不尽相同。所以退而求次,选择了只把某些 cmcc 访问速度更快的目标通过 邻居网络出去。 虽然我换了一个城市,然后选择了CMCC,也没有破解邻居的电信宽带wifi密码。但是多年前的失败经历还是让我感觉需要某种自动的机制自动的探测目标网络使用哪条线路是最快的。 这就是 smartproxy 的了。

April 4, 2019

高并发服务器的静态内存分配策略

asio 的 async_accept 函数在高并发的时候,会发生遗漏 accept 的情况。根本原因在于,async_accept 回调的时候,已经 监听的socket已经没有执行 accept 操作了。 解决的办法就是投递多个 async_accept. asio 的 async_* 系列 函数通常只能投递一次,多次投递会发生未定义行为。async_accept 是为数不多的例外。 通常在写一个 server 的时候,client 是采取 accept 一个就 make_shared 一个的做法。对于大量频繁的连接请求,make_shared 很快就会成为新的瓶颈。 在读 beast 的 example/http/fast_server 的时候,发现了 beast 对这个问题的解决方案,非常的聪明。 beast 的做法就是,固定的 client 对象。每个 client 自己投递 async_accept 请求,把自己的 socket_ 投递给 async_accept。 async_accept 返回后, client 就对自己的 socket_ 执行处理, 该 read read,该 write 就 write。 直到这个 client 的请求全部处理完毕,连接也 shutdown 后, 它就再次投递 async_accept 进入下一个循环。 在这个模式下,client 对象并没有被不断的 new 出来。 client 对象的数目是固定的。他利用了 async_accept 可以多次投递的 feature。 在超大量的请求下,该模式始终不会产生频繁的内存分配和释放请求,不仅仅加快了速度,而且也极大的避免了内存碎片。 ...

October 25, 2018

通知到轮询线程

在腐都工作也有大半个月了。工作过程中,遇到了一个轮询+通知的消息模式。所以要轮询,是因为通知是不可靠的。 所以要通知,是因为轮询是不及时的。既要保证及时,又要保证可靠,就只能轮询和异步通知一起上。 因为异步通知的时候,会把轮询需要获得的状态一并携带上了。所以,获得通知后只是取消定时器,让轮询线程立即唤醒干活肯定是。。。 可以的但是有点浪费。如果在异步通知线程里直接调用处理呢,就要把处理的东西从轮询的线程里扣出来,这样轮询的代码就不直观了。 因为使用的是 asio 的 stackless coroutine。 不过,如果改造下 timer, async_wait 的时候是可以2个返回值的回调呢? 一个 ec 一个 通知的消息呢? 于是只要在 yield timer.async_wait 下面判断下 ec ,然后 yield async_pull 如果 ec = aborted 那就不执行 yield async_pull . 直接把第二个参数看成是 async_pull 返回的。 这样就可以在不改动轮询代码的情况下,插入了异步通知。 结果伪造代码表示如下下 void operator()(boost::system::error_code ec, some_type_of_pull pulled_message) { reenter(this) { while(is_timeout()) // 超时后不再轮询 { timer.expires_from_now(pull_interval); yield timer.async_wait(*this);_ if (!ec) { yield async_pull_message(object_id, *this); }else if(ec == boost::asio::error::opertion_aborted) { // 强行没错误! ec = boost::system::error_code(); } if (!ec) { // 处理轮询消息 } } } } void wake_up(some_type_of_pull message) { timer.wake_up(message);_ } 因为 timer 的回调的第二个参数是得万能类型,所以 timer 其实是个模板类。 ...

January 15, 2017

ASIO 腾空出世 (那些年我们追过的网络库.PartII)

这是上篇 那些年我们追过的网络库(PartI) 的后续, ASIO 腾空出世 在地球最大的岛上,另一位少年开始拜读 ACE 的大作。那时候,没有 libuv 没有 libev 更没有 libevent . 有的只是 ACE. 然而这个南方小国的少年没有跟风陷入 ACE 崇拜,他以敏锐的目光察觉到了 ACE 的弊病。 ACE 哪里做的不好?又哪里是值得借鉴的? 少年在给 c++ 委员会写的一篇上书中说,Proactor 模型乃最优模型。而 Proactor 模型,乃 ACE 提出的 6 个模型之一。根据 IT 界赢者通吃律,一个优秀的网络库,只需要支持 Proactor 模型即可。 支持其他次优模型都是徒劳的。ACE 试图全盘通吃,犯了大忌。 少年在一次开发者大会的演讲上,再次透露,网络库不宜做成框架,而是要像系统的API那样,作为一个乐高积木。ACE 做成了一个框架,同样不妥。 你说了那么多 ACE 不好,有本事你弄个好的啊? 批评者向来都是这么理直气壮。 正如 ACE 的作者实践了 “纸上得来终觉浅 绝知此事要躬行” 一样,这位勇敢的少年也拿出了 ASIO, “实践出真知”,他如是说。 那还是 SARS 病毒肆虐的年代,几乎没有人注意到,今后颠覆C++的网络世界的 ASIO 悄然出世了。而他的父亲,还只是悉尼的学子。ASIO 并没有显赫的家庭背景,然而英雄不问出处,它注定将有不平凡的一生。 俗语有云,三岁看老。在 asio 才三岁的时候,它父亲就将 asio 引荐给了 c++ 委员会的老人们。上一次他们这么做的时候,他们接纳了 STL。 ASIO 最终被内定,然后放入 Boost 锻炼, 经过 Boost 十余的锻炼,ASIO 终于在 2017 年进入了 c++ 标准。 ...

September 18, 2015

那些年我们追过的网络库(PartI)

#为什么要用 C++ 编写服务端程序? 如果说答案是性能,那么肯定有人会满不在乎。觉得性能不够的话, 只要加机器就可以了。 然而更少的机器,意味着更低的能耗,更少的硬件投入,更少的人力资源投入去维护机器。总而言之,更低的成本。 肯定会有人说,C++的开发速度太慢了。然而这并不是绝对的。C++也可以做到非常快速的开发。有句俗语 * “脚本一时爽,重构火葬场” * 说的正是脚本语言开发的项目进入维护阶段后无穷的灾难。而 C++ 经过了几十年的发展, 拥有庞大的工具链. 不管是动态分析还是静态分析都有大量的工具, 能极大的帮助程序员减少错误. c++得益于精良的设计,严格的检查,越是大型的工程,越是能降低开发成本。 但这并不意味着C++就不适合小型项目了。小型的项目,也可以快速开发。因为 C++11 开始,已经 感觉像是全新的语言了,可以完全以脚本的形式去使用,获得接近甚至超越脚本语言的开发速度,同时得益于编译优化,获得不俗的运行时性能。 C++正是鱼和熊掌得兼的语言。 #为什么要用asio这个库? 事实上如果使用C++开发服务端程序,你有多得数不清的选择。什么 ACE 啦,libuv 啦,libevent 啦,libev 啦,甚至可以直接使用 epoll/iocp 这样的系统API。 为什么要用 asio 呢? ##那些年我们用过的网络库 在计算机史前文明时代, 曾经有个世界难题, 叫 “c10k problem”. 这个是继 y2k problem 后的又一个重大攻关项目. 全世界的文艺青年都想拿下解决这个问题的荣誉, 正可谓八仙过海, 各显神通. 那一年, NPTL 还没有研究出来. 还不能创建成千上万个线程 那一年, windows 还在蓝屏中挣扎, 无暇顾及网络. 然而, 曙光还是有的. 异步的出现带给了人以希望. 古老的UNIX早就想到了, 提供了 select() 系统调用供人驱使. 然而问题还是有的, select 只能支持 1024 个文件描述符, windows 上的 select 更是劣质到只能使用64个. 就算通过修改定义强迫接受一万个文件描述符, 也没有解决实际的问题. select 实在是太慢了. ...

September 14, 2015

avbot 里的回调

asio 这样的库,每次发起一个操作,就带一个回调.回调告诉你,神马时候操作完成了,完成的咋样. 在所有被主动调用的接口处, avbot 基本上都遵循了 asio 的这一设计准则:提供回调完成事件通知. 但是,还有另一种回调:这个回调并不是因为你主动调用了某个接口,而是因为,这是框架的一部分. 你不用调用框架,框架会来调用你. 在被框架调用的地方,如果阻塞了,势必会导致框架内部的执行流被整个阻塞.比如说,如果设定一个 “验证码回调”,框架登录QQ发现需要验证码的时候就调用.那么,执行解验证码这个操作如果费时(这 肯定费时啊,等待用户从控制台输入嘛)会导致整个avbot的内部循环被阻塞. 这明显不是我想要的结果. 这也是因此我极力避免框架式设计. 但是,框架式设计有时候又是无可奈何的最简单的做法. 那么,为何不让我们的回调接受一个框架传来的 Handler ? 是的! 这样框架就无需要求回调一定是非阻塞的了!

May 25, 2014

我为什么喜欢用协程

查看过 avbot 代码的人都知道, avbot 到处都是协程. 用句 ACG 的话来说, 博士是协程控 那么, 为啥我会那么喜欢使用协程呢? 答案是协程大大简化了编程, 尤其是内存管理. 协程简化了内存管理 写过异步程序的人都知道, 编写异步代码最容易犯的错就是内存泄露了. asio的无栈协程通过 闭包 的形式, 将异步过程所要操作的资源绑定到 闭包 上, 并使用 shared_ptr 对这些资源执行引用计数管理. 当最后一个回调执行完毕后, shared_ptr 确保了资源的正确释放. 对于 copyable 的资源, 甚至直接作为 闭包 的一部分, 让资源随着闭包被 ASIO 拷贝, 释放, 拷贝, 释放, 最终最后一个闭包完成使命, 彻底撤销. 下面这个是 QQ 登陆过程的一个协程代码 // qq 登录办法-验证码登录 class login_vc_op : boost::asio::coroutine{ public: typedef void result_type; login_vc_op(boost::shared_ptr<qqimpl::WebQQ> webqq, std::string _vccode, webqq::webqq_handler_t handler) : m_webqq(webqq), vccode(_vccode), m_handler(handler) { std::string md5 = webqq_password_encode(m_webqq->m_passwd, vccode, m_webqq->m_verifycode.uin); // do login ! std::string url = boost::str( boost::format( "%s/login?u=%s&p=%s&verifycode=%s&" "webqq_type=%d&remember_uin=1&aid=%s&login2qq=1&" "u1=http%%3A%%2F%%2Fweb.qq.com%%2Floginproxy.html" "%%3Flogin2qq%%3D1%%26webqq_type%%3D10&h=1&ptredirect=0&" "ptlang=2052&from_ui=1&pttype=1&dumy=&fp=loginerroralert&" "action=2-11-7438&mibao_css=m_webqq&t=1&g=1") % LWQQ_URL_LOGIN_HOST % m_webqq->m_qqnum % md5 % vccode % m_webqq->m_status % APPID ); m_stream = boost::make_shared<avhttp::http_stream>(boost::ref(m_webqq->get_ioservice())); m_stream->request_options( avhttp::request_opts() (avhttp::http_options::cookie, m_webqq->m_cookies.lwcookies) (avhttp::http_options::connection, "close") ); m_buffer = boost::make_shared<boost::asio::streambuf>(); avhttp::async_read_body(*m_stream, url, *m_buffer, *this); } // 在这里实现 QQ 的登录. void operator()(boost::system::error_code ec, std::size_t bytes_transfered) { std::istream response( m_buffer.get()); if( ( check_login( ec, bytes_transfered ) == 0 ) && ( m_webqq->m_status == LWQQ_STATUS_ONLINE ) ) { m_webqq->m_clientid = generate_clientid(); //change status, this is the last step for login // 设定在线状态. m_webqq->change_status(LWQQ_STATUS_ONLINE, *this); }else { using namespace boost::asio::detail; m_webqq->get_ioservice().post(bind_handler(m_handler, ec)); } } // 登录完成 后的后续操作 void operator()(const boost::system::error_code& ec) { using namespace boost::asio::detail; if(ec) { m_webqq->get_ioservice().post(bind_handler(m_handler, ec)); return; } else { BOOST_ASIO_CORO_REENTER(this) { //polling group list BOOST_ASIO_CORO_YIELD m_webqq->update_group_list(*this); // 每 10 分钟修改一下在线状态. lwqq_update_status(m_webqq, m_webqq->m_cookies.ptwebqq); m_webqq->m_group_msg_insending = !m_webqq->m_msg_queue.empty(); if( m_webqq->m_group_msg_insending ) { boost::tuple<std::string, std::string, WebQQ::send_group_message_cb> v = m_webqq->m_msg_queue.front(); boost::delayedcallms( m_webqq->get_ioservice(), 500, boost::bind( &WebQQ::send_group_message_internal, m_webqq->shared_from_this(), boost::get<0>( v ), boost::get<1>( v ), boost::get<2>( v ) ) ); m_webqq->m_msg_queue.pop_front(); } m_webqq->get_ioservice().post(bind_handler(m_handler, ec)); } } } private: std::string webqq_password_encode( const std::string & pwd, const std::string & vc, const std::string & uin) { // ... 代码略 ... } private: int check_login(boost::system::error_code & ec, std::size_t bytes_transfered) { // ... 代码略 ... } private: boost::shared_ptr<qqimpl::WebQQ> m_webqq; webqq::webqq_handler_t m_handler; read_streamptr m_stream; boost::shared_ptr<boost::asio::streambuf> m_buffer; std::string vccode; }; 在这个协程里, 有的闭包成员被 shared_ptr 管理, 有的没有. 这些资源, 统统都没有使用显式的内存管理, 而是让这些对象随着闭包的撤销被自动的析构. ...

July 19, 2013

avbot 的一些技术决定

avbot 早已实现最初的目标 : 提供一个机器把 IRC/XMPP和 QQ群联合起来. 让不使用QQ的人和只使用QQ的人都恩嗯畅快的交流. 现在该歇息片刻, 回顾一下这一段历程, 以及编写avbot的时候所做的一些技术决定了. Boost.Asio 为什么 avbot 会使用 Boost 进行开发呢? Boost 有什么 好处? Asio 是干嘛的? 我觉得对于 Asio, Jack 的那篇讲座 足以解释的很清楚了. Asio 是一个非常强大的网络库. 从一开始就选择了 Asio, 让 avbot 的后续开发不仅仅变得更轻松, 更重要的是, 我从 asio 那里学到了受用不尽的财富. avhttp avhttp 可以说是 avbot 催生的一个项目. 如果不是 avbot , Jack 编写 avhttp 的动力也不是那么浓. 可能会更晚的时候开始编写, 也可能就不会开始编写. avhttp 是 Asio 思维的典型产物. 不过因为Jack个人喜好问题, avhttp 里模板的使用还是太少了, 个人认为绝对是个遗憾. 在使用 avhttp 之前, avbot 使用的HTTP网络库是 Urdl . 是个已经死掉的项目. avbot 不得不对 Urdl 进行了修改, 才让其支持了 Cookie 和一些其他 webqq 需要用到的 HTTP 头选项. ...

July 17, 2013

ASIO 与协程

前段时间看了 ASIO 爸爸关于ASIO的一个演讲. ASIO 爸爸说, ASIO 的设计理念就是作为一个 toolkit 而不是一个框架. ASIO并不强迫你使用某种编程模型. 它只是提供一系列的函数和类帮你更容易的编程. ASIO 的设计思想其实和 GLIB 的 g_main_loop 非常像. 但是 C++ 因为有模板, 所以能更好的实现. 使用 g_main_loop 的时候, 我不记得我写了多少 void* 到 struct 的转化了. 这就是 C 的弊病. 因为缺少模板,所以回调必须严格符合函数签名. 但是库作者永远想不到用户还需要什么样的参数. 于是void*就是最好的解决办法了. 但是因为 C++ 有模板,所以放松了对函数签名的要求. 不符合 ASIO 回调函数签名要求的,都可以使用 bind 绑定以符合签名要求. 这就为库的使用者带来了巨大的灵活性的同时仍然保持极佳的易用性. C++的另一个强大优势即是函数对象(bind的结果就是一个函数对象). 通过函数对象, 使得一些状态可以保存到成员变量中, 这样就给了我们一个不需要栈就实现的一个协程. 协程本质上是一个拥有多重入口和多重出口的函数. 每次调用都将从上一次退出的地方继续执行. 如果没有成员变量, 所有的变量都将保持于栈上, 这就要求协程的实现必定带来栈切换. 而栈的要求就导致协程必须有额外的创建和撤销动作. 这都给协程的实际使用造成了限制. C++的函数对象, 既可以像普通函数那样调用, 又可以像通常的对象那样携带成员变量. 因此通过将变量置于对象而不是栈上, C++就可以实现无栈协程. 无栈协程的开销不过就是一个函数对象, 而无需一次性分配一个巨大的内存用于栈. 通常一个栈实现的协程,需要分配一个 1MB~10MB 的内存用于栈. 而无栈协程所使用的对象,不过就只是一个函数对象,通常大小不过几个字节到几百字节. 因此无栈协程允许创建大量的协程,而无需当心内存开销. ASIO 爸爸即创造性的提出了无栈协程的概念, 然后将它用于实践中. ...

April 22, 2013

ASIO协程的思维转变

avbot 是一个纯粹的单线程程序。在设计 avbot 最初的时候,我就给自己下了一个明确的目标:必须单线程。 但是,它的逻辑可不简单。它需要处理 XMPP 协议,处理 IRC 协议,处理 WebQQ 协议,处理pop3协议,处理 SMTP 协议。 所有的处理都必须异步。绝对不能因为 IO 阻塞。 可能很多人会不以为然,这有什么, select() 一下就好了。但是你知道这意味着多少代码么? 你需要编写大量的函数,大量的回调函数。别说复杂的 WebQQ 协议了,就是一个简单的 IRC , 你知道要多少代码完成异步处理么? 而且除了 WebQQ 以外(WebQQ的代理支持也在添加计划中), XMPP IRC POP3 SMTP 都是支持代理的。你知道要多少代码完成代理么? 想必很多吧? 所幸的是,avbot 没有使用C开发,也没有选择 ACE MFC 这样的不合格的类库开发。而是选择了 Boost。尤其是 ASIO, ASIO让异步过程大大简化。 而让异步过程更加简化的,就是 ASIO 作者发明的 stackless coroutine! avbot 发布了许久了, 最近突然有个用户跑来说,希望能增加个调用 “外部脚本” 的功能,方便扩展。 我一向对设计一个 plugin 机制极力的避免,不喜欢动态载入的模块扩展程序本身的功能。何况 avbot 是 c++开发的,调用脚本并不是容易的事情。(好吧,真实的原因是我被 mingw (VC 不支持 utf8源码,我已经抛弃了) 折腾怕了,不想再搞个 python 。windows实在是恐怖的平台,写点程序麻烦的要死,编译麻烦的要死。可是 avbot 又必须跨平台,结果是我一天写好的东西要在 windows (虚拟机) 里折腾好几天,累死人 ) ...

April 13, 2013

无栈协程

在开始之前,先来看一段代码 void pop3::operator() ( const boost::system::error_code& ec, std::size_t length ) { using namespace boost::asio; ip::tcp::endpoint endpoint; std::string status; std::string maillength; std::istream inbuffer ( m_streambuf.get() ); std::string msg; reenter ( this ) { restart: m_socket.reset( new ip::tcp::socket(io_service) ); do { #ifndef DEBUG // 延时 60s _yield ::boost::delayedcallsec( io_service, 60, boost::bind(*this, ec, 0) ); #endif // dns 解析并连接. _yield boost::async_avconnect( boost::proxychain(io_service).add_proxy()(boost::proxy_tcp(*m_socket, ip::tcp::resolver::query(m_mailserver, "110"))), *this); // 失败了延时 10s if ( ec ) _yield ::boost::delayedcallsec ( io_service, 10, boost::bind(*this, ec, 0) ); } while ( ec ); // 尝试到连接成功为止! // 好了,连接上了. m_streambuf.reset ( new streambuf ); // "+OK QQMail POP3 Server v1.0 Service Ready(QQMail v2.0)" _yield async_read_until ( *m_socket, *m_streambuf, "\n", *this ); inbuffer >> status; if ( status != "+OK" ) { // 失败,重试. goto restart; } // 发送用户名. _yield m_socket->async_write_some ( buffer ( std::string ( "user " ) + m_mailaddr + "\n" ), *this ); if(ec) goto restart; // 接受返回状态. m_streambuf.reset ( new streambuf ); _yield async_read_until ( *m_socket, *m_streambuf, "\n", *this ); inbuffer >> status; // 解析是不是 OK. if ( status != "+OK" ) { // 失败,重试. goto restart; } // 发送密码. _yield m_socket->async_write_some ( buffer ( std::string ( "pass " ) + m_passwd + "\n" ), *this ); // 接受返回状态. m_streambuf.reset ( new streambuf ); _yield async_read_until ( *m_socket, *m_streambuf, "\n", *this ); inbuffer >> status; // 解析是不是 OK. if ( status != "+OK" ) { // 失败,重试. goto restart; } // 完成登录. 开始接收邮件. // 发送 list 命令. _yield m_socket->async_write_some ( buffer ( std::string ( "list\n" ) ), *this ); // 接受返回的邮件. m_streambuf.reset ( new streambuf ); _yield async_read_until ( *m_socket, *m_streambuf, "\n", *this ); inbuffer >> status; // 解析是不是 OK. if ( status != "+OK" ) { // 失败,重试. goto restart; } // 开始进入循环处理邮件. maillist.clear(); _yield m_socket->async_read_some ( m_streambuf->prepare ( 8192 ), *this ); m_streambuf->commit ( length ); while ( status != "." ) { maillength.clear(); status.clear(); inbuffer >> status; inbuffer >> maillength; // 把邮件的编号push到容器里. if ( maillength.length() ) maillist.push_back ( status ); if ( inbuffer.eof() && status != "." ) _yield m_socket->async_read_some ( m_streambuf->prepare ( 8192 ), *this ); } // 获取邮件. while ( !maillist.empty() ) { // 发送 retr #number 命令. msg = boost::str ( boost::format ( "retr %s\r\n" ) % maillist[0] ); _yield m_socket->async_write_some ( buffer ( msg ), *this ); // 获得 +OK m_streambuf.reset ( new streambuf ); _yield async_read_until ( *m_socket, *m_streambuf, "\n", *this ); inbuffer >> status; // 解析是不是 OK. if ( status != "+OK" ) { // 失败,重试. goto restart; } // 获取邮件内容,邮件一单行的 . 结束. _yield async_read_until ( *m_socket, *m_streambuf, "\r\n.\r\n", *this ); // 然后将邮件内容给处理. process_mail ( inbuffer ); // 删除邮件啦. msg = boost::str ( boost::format ( "dele %s\r\n" ) % maillist[0] ); _yield m_socket->async_write_some ( buffer ( msg ), *this ); maillist.erase ( maillist.begin() ); // 获得 +OK m_streambuf.reset ( new streambuf ); _yield async_read_until ( *m_socket, *m_streambuf, "\n", *this ); inbuffer >> status; // 解析是不是 OK. if ( status != "+OK" ) { // 失败,但是并不是啥大问题. std::cout << "deleting mail failed" << std::endl; // but 如果是连接出问题那还是要重启的. if(ec) goto restart; } } // 处理完毕. _yield async_write ( *m_socket, buffer ( "quit\n" ), *this ); _yield ::boost::delayedcallsec ( io_service, 1, boost::bind ( *this, ec, 0 ) ); if(m_socket->is_open()) m_socket->shutdown ( ip::tcp::socket::shutdown_both ); _yield ::boost::delayedcallsec ( io_service, 1, boost::bind ( *this, ec, 0 ) ); m_socket.reset(); std::cout << "邮件处理完毕" << std::endl; _yield ::boost::delayedcallsec ( io_service, 30, boost::bind ( *this, ec, 0 ) ); goto restart; } } 这个代码,乍一看就是同步代码嘛!而事实上它是异步的 ...

March 17, 2013

异步单线程的梦

很享受单线程带来的好处。 第一:不用考虑锁。 第二:不用考虑线程切换开销。 第三:很锻炼人异步并发的思想。 特别是第三点,我觉得最喜欢了。 非常喜欢异步执行,异步通知。 用一个线程,完成了所有的逻辑。而且不能阻塞在一个逻辑上。如果需要阻塞,就采用异步通知,等它ready了再处理。 单线程异步并发用的久了 突然有一天碰上了 ALSA … … … 居然再也不能使用了。。。。。。 ALSA 的异步通知只有一种。那就是信号。 但是信号是不可靠的,而且信号数目有限,怎么能用来做异步通知呢?(所以也很讨厌 aio) ALSA 居然不能方便的时候 poll/epoll 来进行通知,各种事件非得用 alsa_*(会阻塞的) 获得 …. 逼我用多线程。 当然,PulseAudio 的话 … 由于是 socket 连接,可以继续你的异步梦了 ….. but .. who likes pa ? 很多地方都可以异步单线程,而且都是使用的 epoll/poll 通知机制, 所以,任何可能会阻塞的地方,如果能使用 poll 那么,永远都不用当心你的梦会破灭 … (ALSA该死,破灭我一次) 最后,用 Alan Cox 的名言来打击一下使用多线程的人: computer is a state machine. Threads are for people who can't program state machines. (计算机是一台状态机。线程是给那些不能编写状态机程序的人准备的。) 文件IO == 使用 poll/epoll 套接字 == 使用 poll/epoll Direct IO == 使用 poll/epoll Timer == 巧妙的编入 polll/eppll 的 timeout 参数 空闲 == 利用 poll/epoll timeout=0 抓包 == pcap_fileno 获得文件描述符,使用 poll/epoll GUI == 获得 X11 连接的文件描述符,使用 poll/epoll OpenGL == OpenGL is natively async with GPU , OpenGL 错误被合并入 X11 汇报 文件监视 == 返回的也是文件描述符 Netlink == 返回的也是套接字

October 10, 2010