GLSL加速 YUV 显示

通常来说,视频都是使用 YUV 格式编码的。YUV 最符合人眼的结构,因为人眼对亮度要比对颜色敏感的多。 YUV 将颜色分成一个 亮度信号和2个色差信号。于是就可以使用更多的bit数去编码亮度信号。在同样的每像素比特位数下,YUV 能比 RGB 保留更多的信息。 But YUV 要在 PC 屏幕上显示,不那么友好。需要转成 RGB 格式。网上一搜一大把,这里就不贴转换公式了。 将YUV转换为 RGB 时,是像素独立的。每个像素都可以独立转换,因此可以被大规模并行。所以 YUV 最佳的转换地方还是在 GPU 上。不适合在 CPU 上转。 非常可惜的是, OpenGL 是基于 RGBA 的。在opengl里无法直接使用YUV。 But,先知已经考虑到了这点,先知给 OpenGL 加了一道通用计算的能力。这道通用计算能力就叫 .. 额.. Shader。(为啥中文译名叫着色器呢?) Shader 简单的来说就是一小段跑在 GPU 上的代码。这些代码针对每一个提交的顶点和每一个最终屏幕像素并行执行。 处理顶点数据的就是顶点着色器。处理屏幕像素的就是像素着色器了。 因此, 将 YUV2RGB 的公式写成一个 shader, 就能实现在 GPU 上并发转格式了. vec3 yuv2rgb(in vec3 yuv) { // YUV offset // const vec3 offset = vec3(-0.0625, -0.5, -0.5); const vec3 offset = vec3(-0.0625, -0.5, -0.5); // RGB coefficients const vec3 Rcoeff = vec3( 1.164, 0.000, 1.596); const vec3 Gcoeff = vec3( 1.164, -0.391, -0.813); const vec3 Bcoeff = vec3( 1.164, 2.018, 0.000); vec3 rgb; yuv = clamp(yuv, 0.0, 1.0); yuv += offset; rgb.r = dot(yuv, Rcoeff); rgb.g = dot(yuv, Gcoeff); rgb.b = dot(yuv, Bcoeff); return rgb; } 输入为一个 vec3 的向量, 返回 vec3 向量. 这个转换对每个像素并发的执行. ...

March 31, 2015

ubuntu 太反人类了

ubuntu 这个烂东西, 我本来不打算吐槽的, 反正烂东西我不触碰就是了. 但是啊, 烂东西呢, 你不过去招惹它, 它还是会过来招惹你, 不管你愿意还是不愿意. ubuntu 为啥烂 ? 怎么招惹我了? 因为咱用了 travis-ci . travis-ci 是个好东西啊, 每次你 git push , 它就默默的帮你编译一遍代码. 哪个 commit 没编译过, 一目了然. 问题在于, travis-ci 用的是 ubuntu , 而且更糟糕的是用的 ubuntu 12.04 … 太老了. 首先遇到的第一个问题, 就是包名好乱. 我要用一个库的时候, 我不知道要安装哪个库! 我不知道 ubuntu 打包的时候到底用了啥名字. 我不能因为用了这个名字的库,而推定 ubuntu 一定打包成这个名字. 必须上 ubuntu 的网站查询! 其实这个问题我老早就说过了. 诶. 包名混乱, 用户不得不多上网站搜索, 网站流量就上来了, 就看起来 “活跃” 了. 排名就高了… 真是个好生意. 第二个问题, 是软件太旧了. 真的太久了. 好不容易找好了正确的包名, 开开心心的在 .travis.yaml 文件里添加了 apt-get 命令 … 结果软件实在是太旧了! 这些软件当年刚进入 ubuntu 仓库的时候就已经是旧了, 但还勉强够用. 但是过了这么多年, 等 ubuntu 自己都旧了的时候, 这些软件就是古董到不能再古董了. ...

November 11, 2014

也说 jitter

搞数字音频的,经常会提到 jitter。 什么是 jitter ? jitter 就是时钟的随机抖动。这个抖动啊,来自量子世界,是无法消除的,否则海森堡大人要从棺材里跳出来了。 jitter 只能减少,不能削除。 那么 jitter 对音频有啥影响呢? jitter 主要影响就是,经过 DAC 重建模拟信号的时候,时钟的不稳定导致重建信号偏离原来的位置。结果上看就是波形不再符合原来的PCM编码的描述了。 这个偏差引入了失真,但是数据的准确性并没有被破坏。 那么 jitter 既然无法消除, 总有个量的吧? 小于某个量后,人耳就无法察觉了,对吧? 是的。一般认为,jitter 小于 200皮秒后人耳即无法感知了。 一般数字电路的 jitter 有多大? 数字电路通常使用石英晶振产生时钟,石英晶振的 jitter 是很小的。石英晶振 jitter 可以做到小于 1ps (皮秒)。 所以 jitter 影响音质的说法基本上是无稽之谈。 这个时候,玄学大师会出来说,低 jitter 的那是本地时钟。如果使用的不是本地时钟,比如使用 SPDIF 传输音频,时钟信号是包含在信号里的。 解码器要从被光电转换线路劣化(或者使用同轴传输,信号会被外界电磁干扰劣化)的信号里重建数据和时钟。这个时钟就很难保证低jitter。 是的确实如此。外界干扰确实让同轴或者光纤传来的信号 jitter 大大增加。有网友以示波器观察,发现波形已经被严重歪曲。数字信号以电压判断, 接收到的波形因为已经扭曲,波形的上升坡度各不相同。所以上升到指定电压以被判定为 1 的时间就各不相同。 哪怕原始波形以精确的时间开始上升 。。。。 如此以来,jitter确实很大。 但是,哪怕同轴上单个 bit 的 jitter 高达 1000ps (其实已经很低了,但是足以引起听感不适), 提取出来的信号和时钟的jitter依然能做到非常低。 这是为何呢? 因为重建信号使用了 PLL (锁相环) 机制。 spdif 信号并不能直接 DAC 解码,而是需要提取出时钟信号和音频数据。spdif 信号是一帧一帧传播的。而不是一个采样点一个采样点传播的。 ...

October 16, 2014

更高采样率,更低成本

在继续本文之前,容我提出一个摩尔定律的推论: 离摩尔定律越近,发展越快,成本越低;反之,离摩尔定律越远,发展就越缓慢,成本也难以下降。 [待续] === 2023 年 12月 21 日填坑 === 没想到,当年的一篇文章,我居然没完成。挖坑了这么久。 这次来回填。 在玄学HIFI领域,是反摩尔定律的。 数字音频,是个跨领域的行业。一方面,他是数字化的。一只脚在摩尔定律统治的领域。 另一只脚则是在一个传统的音像行业。 快速发展的摩尔领域,就容易导致劈叉越来越严重。然后就扯到蛋了。 一方面,摩尔统治下的半导体,性能指数级提升。ADC芯片能实现的采样率,很快就从 44.1khz 到了 25Ghz 以上。 另一方面,传统的音像行业坚守 44.1khz 的本心不动摇。传统行业的坚守,也让 ADC 芯片的从业者,分化为了两个阵营。一个是摩尔阵营,一个是音响阵营。 摩尔阵营的 ADC,每 18个月,价格降低一半。或者相同的价格能买到翻倍的采样率。 音响阵营,实行的是稳定供货策略。一个 44.1khz 的 ADC, 他打着保票说,这个芯片能供货30年以上,而且绝对不乱涨价。 二者之间还有一个心照不宣的秘密:摩尔阵营的ADC绝对不染指音响市场。 于是市面上,你能花一两块钱的价格买到的芯片,里面内赠的ADC能达到100khz采样速度,还能采集十几个通道。 但是如果你要采集的是区区20khz 带宽的信号,就必须买专门的44.1kz 采样率的ADC。这个ADC,价格从几十元到上万元不等。 在 44.1khz 成为标准的年代。1.44MB/s 的码率异常惊人。耗尽一台个人电脑的全部存储空间,无法记录一秒的声音。 但是,时间未过几年。个人电脑单是RAM的容量,都能放下数张CD光盘了。 就别提硬盘的容量了。更是指数级提升。 按理说,音响制作领域,完全可以使用更高的采样率,更大的码率制作音频。 但是,44.1khz 依旧统治世界。从 VCD 到 DVD , 再到 BD。 整个媒体文件里,音频信息所占用的数据量比例,不断的下降。到 BD 时代,整个 25GB 容量的光盘里,音频信息只有数百MB。与 VCD 时代相比,只有略微的提升。这略微的提升,还是因为 BD 使用了更多的声道,而不是更高的采样率。 声音的原始数据量,已经从巨量变成了无足轻重。 无损压缩的音频,突然成了主流。 摩尔定律界的人,已经嫌弃音频的数据量太小了。填不满巨大的存储空间。不得不劝大家不要压缩声音了。再压缩,硬盘厂都要倒闭了。 声音,从一开始的大山,变成了一粒尘埃。 但是。音响界的人不这么看。声音他必须得是大山。我不允许摩尔定律碾压声音。不允许! 其实,主动远离摩尔定律,何止是 HIFI 行业。还有单片机行业。 ...

October 11, 2014

超线程, 优先级和调度策略

这是 ck 的一篇文章,原始链接在此 (SMT/Hyperthreading, nice and scheduling policies)[http://ck-hack.blogspot.com/2014/08/smthyperthreading-nice-and-scheduling.html]

August 17, 2014

使用自己硬件的时候写的两个补丁

键盘问题 去年买了一个机械键盘。不过一直有一个困扰我的问题,就是键盘插入 USB 口后,会等待 10s 左右的时间,然后才识别。查看 dmesg 输出会看到有什么 Timeout 的。 后来发现是硬件 bug。而这种硬件 bug 是可以被内核 work-arround 的。 具体的来说就是,一个 USB-HID 插入的时候,内核会询问设备的一些特性,比如说是否支持多点触控之类的。 但是我这块键盘并不会不报告,导致内核等了大概 10s 没收到报告,于是就当你不支持咯。才继续下去。当然,除了这个该死的硬件闭口不谈外,没啥别的 bug。 所以 10秒后,键盘还是能正常使用。 那么解决办法就很简单了,把这个键盘的设备 ID 添加到一个 缺陷列表, 列表文件在 drivers/hid/usbhid/hid-quirks.c 。 当然,遵循内核的设计风格,不能直接把设备 ID 这种 16 进制的数字填进去,所以在 drivers/hid/hid-ids.h 这里添加了宏定义。 补丁如下 From 7af026610fe6a41426f53f3a4ea41e3aa1ee780f Mon Sep 17 00:00:00 2001 From: microcai <microcaicai@gmail.com> Date: Sun, 13 Jul 2014 15:41:14 +0800 Subject: [PATCH] HID: usbhid: add quirks for 0x04d9:0xa096 keyborad device I am using a USB keyborad that give me "usb_submit_urb(ctrl) failed: -1" error when I plugin it. and I need to wait for 10s for this device to be ready. by adding this quirks, the usb keyborad is usable right after plugin Signed-off-by: Wangzhao Cai <microcaicai@gmail.com> --- drivers/hid/hid-ids.h | 1 + drivers/hid/usbhid/hid-quirks.c | 1 + 2 files changed, 2 insertions(+) diff --git a/drivers/hid/hid-ids.h b/drivers/hid/hid-ids.h index 48b66bb..9683f6c 100644 --- a/drivers/hid/hid-ids.h +++ b/drivers/hid/hid-ids.h @@ -479,6 +479,7 @@ #define USB_DEVICE_ID_HOLTEK_ALT_MOUSE_A070 0xa070 #define USB_DEVICE_ID_HOLTEK_ALT_MOUSE_A072 0xa072 #define USB_DEVICE_ID_HOLTEK_ALT_MOUSE_A081 0xa081 +#define USB_DEVICE_ID_HOLTEK_ALT_KEYBOARD_A096 0xa096 #define USB_VENDOR_ID_IMATION 0x0718 #define USB_DEVICE_ID_DISC_STAKKA 0xd000 diff --git a/drivers/hid/usbhid/hid-quirks.c b/drivers/hid/usbhid/hid-quirks.c index 31e6727..e2e8b7c 100644 --- a/drivers/hid/usbhid/hid-quirks.c +++ b/drivers/hid/usbhid/hid-quirks.c @@ -124,6 +124,7 @@ static const struct hid_blacklist { { USB_VENDOR_ID_SYNAPTICS, USB_DEVICE_ID_SYNAPTICS_HD, HID_QUIRK_NO_INIT_REPORTS }, { USB_VENDOR_ID_SYNAPTICS, USB_DEVICE_ID_SYNAPTICS_QUAD_HD, HID_QUIRK_NO_INIT_REPORTS }, { USB_VENDOR_ID_SYNAPTICS, USB_DEVICE_ID_SYNAPTICS_TP_V103, HID_QUIRK_NO_INIT_REPORTS }, + { USB_VENDOR_ID_HOLTEK_ALT, USB_DEVICE_ID_HOLTEK_ALT_KEYBOARD_A096, HID_QUIRK_NO_INIT_INPUT_REPORTS | HID_QUIRK_HIDINPUT_FORCE }, { 0, 0 } }; -- 2.0.4 看门狗设备问题 在 奶茶东 6/18 活动的时候,杀了一块 Z97 主板和 i7 一块回来。当然,顺便低价处理掉了原来的 P8P67 主板和 E3-1230 CPU。 ...

August 9, 2014

avbot 10.4 发布

对于不知道 avbot 是神码的同学,猛击这里 avbot 不知不觉都已经经历一年有余的开发啦。 10.4 版本应该是一个里程碑式稳定版本。呵呵。 更新还是挺多的。 avbot 的验证码识别功能详情请参考项目 wiki 下面是 Changelog 10.4 * 更新了内置的 gloox 库。 10.3 * 添加了 systemd 支持 10.2 * 添加了 libZMQ 支持. * windows 上改进型的 GUI 处理 10.1 * 使用 stackfull 协程重写 xmpp 逻辑。 * 移除 boost.log 依赖,我能说 boost.log 是个垃圾库么? 10.0 * 新增 python 脚本支持。 * lua 功能在 win32 平台利用 延迟加载DLL特性,只要存在 lua51.dll 即可开启功能,不存在即关闭。无需作为编译选项。 * qq密码支持非明文,提高安全性 9.3 * 新增了一个 avextension.dll 的扩展支持,通过加载该扩展DLL实现功能扩展 9.2 * 添加了 纯真 IP 数据库支持。在聊天中提到的 ip 地址都会响应地理位置. 9.0 * libwebqq is now submoduled. that means, libwebqq is an seperated project now. * .qqbot mail end 并不能终止邮件记录,再次发出该命令将导致目前为止的记录被再次发送. 因而多次执行 .qqbot mail to将导致意外的信息泄漏。修正次错误 ...

June 6, 2014

avbot 里的回调

asio 这样的库,每次发起一个操作,就带一个回调.回调告诉你,神马时候操作完成了,完成的咋样. 在所有被主动调用的接口处, avbot 基本上都遵循了 asio 的这一设计准则:提供回调完成事件通知. 但是,还有另一种回调:这个回调并不是因为你主动调用了某个接口,而是因为,这是框架的一部分. 你不用调用框架,框架会来调用你. 在被框架调用的地方,如果阻塞了,势必会导致框架内部的执行流被整个阻塞.比如说,如果设定一个 “验证码回调”,框架登录QQ发现需要验证码的时候就调用.那么,执行解验证码这个操作如果费时(这 肯定费时啊,等待用户从控制台输入嘛)会导致整个avbot的内部循环被阻塞. 这明显不是我想要的结果. 这也是因此我极力避免框架式设计. 但是,框架式设计有时候又是无可奈何的最简单的做法. 那么,为何不让我们的回调接受一个框架传来的 Handler ? 是的! 这样框架就无需要求回调一定是非阻塞的了!

May 25, 2014

读博客园的创业历史

前些日子,看到微博上传说,博客园的真爱是阿里云。说他们在阿里云平台上走了一次又一次的弯路,当了一次又一次的小白。但是,阿里虐他千百遍,他待阿里如初恋。 顿时觉得有趣,于是去看了博客园解决云计算之路上的一个又一个坑。 开始是抱着围观群众看热闹的心态去看的,看来他们一年多踩的无数个坑,每次踩坑还都去研究源码去找解决办法,顿时觉得,这个团队其实是一个脚踏实地的人在领导。 没有那种浮躁的氛围,肯耐心去做事情。于是去看站长 dudu 的日志。 发现第一篇博客是 04 年发出的。 原来博客园都已经坚持了十年了! 十年前,博客园还只是 dudu 的一个小玩具。但是他总是安心的更新技术,每月都有数篇博文。这种坚持实在难得! 4年后, 也就是 08 年,dudu 开始创业,将博客园从个人站转向公司。 在创业前,以一己之力维护了一个站点4年。4年不间断的更新程序。不间断的写博文记录。这种坚持,实在是佩服! 开始创业一年多后,他们才注册了公司。 是的,如果没有必要,不要成立公司。公司一经成立,就开始为政府烧钱,晚成立公司一点,就可以省下大笔开支。 创业,维持小而精的团队,如无必要,不需要成立公司。在盈利之前都可以无公司组织。公司这种东西,可以等开始盈利的时候去注册。

May 12, 2014

纯真数据库下载或自动更新实现

用过珊瑚虫的童鞋都知道, 有个叫 “纯真数据库” 的东西, 可以查询 ip 地址对应的物理地址. 纯真数据库是有个名为 QQWry,DAT 的二进制文件, 可以通过纯真数据库自己提供的查询程序进行更新. 有关该数据库格式和解析的内容, 本帖子暂时不讲, 有机会的话, 偶会另行开个新帖子讲讲. 这里讲的是, 不通过官方的查询程序, 如何获取到这个数据库. 通过对官方程序进行抓包, 得出下载此数据库, 主要需要下载 http://update.cz88.net/ip/copywrite.rar 和 http://update.cz88.net/ip/qqwry.rar 两个文件. 但是很明显,这两个压根不是 rar 文件呀! 别被扩展名迷惑了. 因为要下载两个文件, 所以得出一个很明显的结论, ** 第二个文件需要用到第一个文件里的信息才能正确解开, 获得 qqwry.dat 文件. ** 那么, copywrite.rar 里到底有神马东西呢? 我们来打开它 ghex copywrite.rar 好吧,老实说, 根本看不明白嘛! 那咋办? 祭出 IDA !!!!!! 华丽的风格线, 其实网上已经有人说了, 这个 copywrite.rar 就是如下一个结构体. struct copywritetag{ uint32_t sign;// "CZIP" uint32_t version;//一个和日期有关的值 uint32_t unknown1;// 0x01 uint32_t size;// qqwry.rar大小 uint32_t unknown2; uint32_t key;// 解密qqwry.rar前0x200字节所需密钥 char text[128];//提供商 char link[128];//网址 }; 这里,最重要的就是 key 这个整数拉! 接下来要在解码 qqwry.rar 里用到 ...

May 11, 2014

聊聊 type erasure

什么是类型橡皮擦? type eraer是什么? 为什么这么有用? 到底它是如何帮助你构建灵活强大的软件的? 我们知道 C++ 是一个强类型的语言。 不同类型之间有天壤之别 ,不能任意转化——函数有签名,只有符合类型检查才能调用。 类型稍微有点不匹配,那带来的是一堆堆编译错误。 然后很多时候,我们会想,C++的类型能不要那么强就好了!比如说设计一个回调函数 ,这回调函数非得是那个类型的才能使用,多不方便。 为了方便用户,为了能适应变化,我们将不得不使用 void* 参数,然后不停地进行强制类型转换。 如果 …… 如果能把类型变弱点就好了! type erasure 技术应运而生。 其实我们常用的 std::function / boost::function 就是一种 type erasure。 std::function 在一定程度上,抹去了函数的类型。不论来的类型是函数对象,还是函数指针,它统统接受,统统能赋值给它。要知道,函数对象可是有无穷多种类型。 弱类型? 和模板啥区别? 模板靠编译期自动生成一个类型兼容的函数来做到弱类型,而 type erasure则能实现在运行期弱类型。 template<class Callback> void somefunc( int somearg, Callback callback); 这个是弱类型了吧,但是是靠编译期实现的。如果有100 个类型的回调,就会生成 100 份代码,去适应 100 个类型的回调函数。 但是如果是这样的代码 void somefunc( int somearg, std::function<void> callback); 这个也是弱类型吧,但是,不论有多少回调类型,一份代码足矣。 也就是说, type erasure 能弥补模板运行期弱类型能力不足的问题。 而有时候,你不得不使用 type erasure。 比如说,你需要保持一个容器,里面全是回调函数。 那么模板就无能为力了。因为创建一个容器的时候,已经要把所有的元素的类型都固定为一个了。 这个时候你必须借助 type erasure std::vector<std::function<void()>> function_container; 有的人会说,用 void* 不也能实现么? ...

April 21, 2014

it is hopeless in china

I just Hate CHINA !

March 5, 2014

折腾了一下GPG和智能卡

GPG支持使用智能卡设备存储密钥。 使用文件系统来携带密钥( 不管是存到 家目录里还是放到U盘里携带)的弊端有很多 1. 文件泄漏密钥即泄漏 2. 不能保证密钥的物理唯一性 3. 文件可以被拷贝,文件可以被任意读取 4. 无法知道文件是否被拷贝,不能发觉 而使用智能卡设备,好处很多 1. 密钥具有物理唯一性,一旦生成即无法读取,即无法制作拷贝 2. 密钥可以由卡上的CPU生成,更能保证物理唯一性 3. 智能卡可以随身携带,方便使用不同的电脑 4. 卡遗失即密钥遗失 5. 多次尝试破解会导致智能卡自我销毁,保证密钥的安全,所以遗失的卡也不会泄漏密钥 6. 加解密操作由智能卡硬件完成,即便授权应用程序也无法获取KEY。就别说木马了。 那么, gpg 支持哪些硬件呢? gpg 支持 CCID 标准兼容的 USB 读卡器。市面上的智能卡读卡器基本上都基于这个接口。 但是,智能卡有很多种,什么门卡啊,电话卡啊,种类很多, gpg 需要的是一个 “OpenPGP Card” 标准兼容的智能卡。 这种智能卡目前在国内没有购买渠道。 所幸的是,gpg通过 gnupg-pkcs11-scd 兼容支持了 PKI 设备。 所谓 PKI 设备就是使用 PKCS#11 接口进行访问的物理加解密设备,比如电子狗,U盾。 那么,我需要的是一个(国内能购买到的)具备 RSA 或者 DSA 加密运算能力的 PKI 设备,同时能在 Linux 下使用。 能在 Linux 下使用,要么是使用标准的 PC/SD 接口,要么是提供了 Linux 下的驱动(PKCS#11 接口允许厂商提供一个 .so 作为驱动访问硬件。应用程序只要使用 PKCS#11 的接口即可。) ...

February 15, 2014

折腾了一下 PC HIFI

最近家里闲置了一对老音箱。很大很重的老音箱。年纪有个十几年了吧。但是以前是很贵的东西。虽然现在音箱很便宜(但是便宜了,音质差了呀),但是我没舍得扔掉。在我眼里古董音箱很值钱! 于是我想个办法想废物利用。音箱有了,缺一个功放。 我第一个找到的功放,是基于 TD2024 芯片的数字功放。主要是图个便宜,不到 50 块钱就能有一个。 至于什么是数字功放,我恶补了一下功放方面的知识。 功放分 A 类 B 类 AB 类和 D 类功放。 D 类也就是数字功放。A类功放,让功放管始终工作在线性放大区。就算输入信号是 0, 功放管也在工作。 功耗大,效率低。效率只有 20% 。 大量的电能被白白消耗。 B 类功放就节能多了。 B 类功放需要2个对管(一个 PNP 一个 NPN),分别放大信号的正半周和负半周。当输入信号处于正半周的时候,放大正半周的功放管工作;当输入信号处于负半周的时候,放大负半周的功放管工作。没有输入信号的时候,两个功放管都不工作。效率不错,能提高到最高 75%。 但是 B 类功放有个致命缺点: 交越失真。因为晶体管只有高于大约 0.7v 电压的时候才导通进入放大状态。这样,当输入信号处于 正负0.7v内 的状态时,是不会被放大的。而通常这个时候正是处于信号正半周向负半周交越的时候(或者反过来)。于是出现交越失真。 解决办法就是设定一个偏置电流。让功放管的静态工作点(就是输入信号为 0 的时候的工作点)移到线性区域的起始点。这样就形成 AB 类功放了。 B类功放的2个对管要严格匹配。需要从大量的管子中筛选出参数最接近的。 不管是 A 类还是 B 类功放,都是利用功放管(通常是晶体管,要有的是用的电子管) 工作在线性区域的时候对电流的放大作用完成信号放大的。都要求功放管有较高的线性度。 D类功放和前面介绍的都不一样,D类功放对功放管的线性度没要求。因为 D 类功放让功放管工作在 开关 状态。 D类功放,首先对输入信号进行采样,生成 PWM ( pulse width modulation, 脉宽调制 ) 信号。信号幅度高的地方,所调制生成的 PWM 信号占空比也高。PWM 信号的频率在 300khz 以上。接着,调制后的 PWM 信号用来控制开关管,输出大电流的 PWM 信号(通过直接调制电源得到)。高频率高电压的 PWM 信号经过一个滤波器,过滤掉 20khz 以上的信号,即可还原出原始的音频信号。 ...

December 22, 2013

对未来编译器的意淫

典型的 C++ 编译过程分 “预处理” “编译” “链接” 编译, 是最耗时的环节, 编译需要编译器解析 C++ 语法, 构建 AST (抽象语法树), 解析完成后, C++ 的重任才刚刚开始. 对于 C 来说, C 解析成语法树后可以立即开始生成目标代码. 但是 C++ 不能. 最耗时的步骤才刚刚开始. C++ 要在 AST 上执行 模板展开, 重载判决. 特别是 模板展开, 这可是一次图灵完全的展开啊! 在展开的过程中, 顺便就以图灵完全的模式执行了一次模板代码. 模板展开失败不是错误, 编译器需要找到另外的模板重载重新展开. 终于全部任务执行完毕后, 生成一个中间的表示. 接着开始进行第一阶段优化, 这一阶段的优化, 死代码消除, 内联展开. 这很重要, 模板代码就是在这一阶段被内联进去, 以至于和手写一样高效. 死代码消除使得为可读性考虑写的代码, 并不会真正生成目标代码, 编译器知道这是无用, 删了. 完成第一阶段优化后, 转化为目标代码. 转换完成后执行第二次优化. 这次优化是在机器指令层面进行的. 优化的地方有, 向量化啦, 指令重排序啦. 最终生成优化的目标代码, 然后写入目标文件, 等待链接. 其中, 预处理+解析语法树, 这两个过程, 在很多时候, 都是非常非常非常费时的操作. 虽然从语法树生成目标代码也非常耗时,但是如果不开启编译优化, 这个过程还是非常迅速的. 不论开关优化, 预处理+解析语法树的时间, 是省不了的. ...

September 15, 2013

让 C 回调支持 boost::bind

C++ 的 bind 非常方便! 但是如果你不得不处理一些 C 接口, 情况就会变得很糟糕, 你不得不处理一堆的 void* , 不能使用 bind ! 有神码办法可以解决这个问题呢!? 答案就是 接下来介绍的模板技术 c_func_wraper ! 用法很简单, 看下面的例子 static void * my_thread_func(int a, int b, int c) { std::cout << a << b << c << std::endl; return NULL; } int main(int, char*[]) { c_func_wraper<void *(*) (void *), void*()> func; func = boost::bind(&my_thread_func, 1, 2, 3); pthread_t new_thread; pthread_create(&new_thread, NULL, func.c_func_ptr(), func.c_void_ptr()); pthread_join(new_thread, NULL); return 0; } pthread 是一个典型的 C 接口, 需要传递给线程的参数通过 void* 传递进来. c_func_wraper 则将 bind 和 C 接口的回调给整合起来了! ...

August 25, 2013

avbot 7.1 发布

对于不知道 avbot 是神码的同学,猛击这里 紧急更新, TX 于 8 月 1 日晚上修改了登录协议, 导致 avbot 全线瘫痪。所有的用户必须升级!必须升级! 7.1 新增了慧眼答题平台支持。urlpreview 功能可以定义黑名单, 不对指定的url进行响应. 用法就是在 qqlog 目录下建立 blockurls.txt 文件,写入不希望avbot解析的正则表达式。 avbot 的验证码识别功能详情请参考项目 wiki 下面是 Changelog 7.1 * run as -D , log to syslog * 新增慧眼答题打码平台的支持 * urlpreview 功能可以定义黑名单, 不对指定的url进行响应. 7.0 * 添加了两家印度阿三的分布式人肉验证码识别API支持 * 添加了AVPLAYER.ORG社区提供的无偿验证码识别服务支持 * 添加了联众打码平台的支持 6.3 * httpagent.hpp merged to avhttp, use #include <avhttp/async_read_body.hpp> * 日志部分使用 boost.log 重写 * 此版本开始要求 boost >= 1.54 6.2 * 最后一个支持 boost <= 1.53 的版本. 下一个版本开始将要求 boost 1.54 * 重写了 http 处理代码 * fix joke segfault * fix mail bug * add back MSVC compiler support, only used to make jack happy. not intend to be production ready. ...

August 1, 2013

GC是错误的内存管理模式

只要写程序, 就免不了要和各种资源打交道, 其中最频繁的莫过于内存了. 任何一个程序都需要内存管理. 它不管是简单的还是复杂的, C 语言的还是 java 语言的. 所不一样的是, 内存管理的细节掌握在谁的手里. 对于 C 语言, 毫无疑问的, 程序员掌握所有细节. 程序员获得了最大的灵活性, 作为代价, 编译器不对任何内存管理上的疏忽负责. 而人是 最容易犯错 的生物. 意味着, 程序员总会犯错, 因此很难写出在内存管理上没有瑕疵的程序. 毫无疑问的, 将内存管理的重担全部丢给程序员, 是编译器水平低下的时代无奈的选择. 随着编译器技术的发展, 将内存管理的任务从程序员手中接管是必然的. 对于如何接管内存管理, 语言作者们分成了截然不同的两派 垃圾收集 RAII (Resource Acquisition Is Initialization) + 智能指针 在带有垃圾收集的语言里, 程序员只管分配内存, 无需操心释放. 垃圾收集器间歇性的运作, 会将不再使用的内存释放掉. 至于如何标记哪些内存是不再使用的, 几十年间发展出了各种算法. 许多语言都带有多种标记算法供选择. “没有哪一种垃圾收集策略是适合所有程序的, 所以各种语言都发展出多套垃圾收集器, 供运行时选择.” 在许多语言里, 垃圾收集并不是编译器实现的, 而是由语言附带的运行时环境实现的, 编译器为运行时提供了附加的信息. 这就导致了语言和运行时的强耦合. 让人无法分清语言的特性和运行时的特性. 垃圾收集不是完美的, 使用垃圾收集并不意味着就可以高枕无忧了. 垃圾收集并不意味着内存泄漏成为过去式, 倒是野指针确实成为了过去式, 因为只要还有指针引用一个对象, 这个对象就绝对不会被释放. (不过, 带有垃圾收集的语言或多或少都废除了指针吧, 用引用替代了指针) 有很多很多复杂的原因丢会导致垃圾收集器无法回收特定的内存, 导致这部分内存泄漏. 更严重的是, 你很难将内存泄漏和还未被清除的内存完全区别开来. 到底是延迟收集策略 还是真的发生了内存泄漏 ? 你永远都无法正确分辨. ...

July 27, 2013

C++ 闭包 探秘

我经常说协程, 说协程的时候又经常会提到闭包. 还有我常说, boost::bind 是神器 归根结底, 神的是 “闭包” 没有闭包, 就无法实现 asio 协程 (注意, 我说的是 ASIO的协程, 并不是通常意义上 setjmp/longjmp 或者 CreateFiber 又或者 boost.context 创建的协程) 每次使用 bind , 你就创建了一个闭包. 简单的来说, 闭包就是带状态的函数 一个函数, 带上了一个状态, 就变成了闭包了. 什么叫 “带上状态” 呢? 意思是这个闭包有属于自己的变量, 这些个变量的值是创建闭包的时候设置的, 并在调用闭包的时候, 可以访问这些变量. 函数是代码, 状态是一组变量 将代码和一组变量捆绑 (bind) , 就形成了闭包 内部包含 static 变量的函数, 不是闭包, 因为这个 static 变量不能捆绑. 你不能捆绑不同的 static 变量. 这个在编译的时候已经确定了. 闭包的状态捆绑, 必须发生在运行时. 闭包的实现 C++ 里使用闭包有3个办法 重载 operator() 因为闭包是一个函数+一个状态, 这个状态通过 隐含的 this 指针传入. 所以 闭包必然是一个函数对象. 因为成员变量就是极好的用于保存状态的工具, 因此实现 operator() 运算符重载, 该类的对象就能作为闭包使用. 默认传入的 this 指针提供了访问成员变量的途径. ...

July 20, 2013

我为什么喜欢用协程

查看过 avbot 代码的人都知道, avbot 到处都是协程. 用句 ACG 的话来说, 博士是协程控 那么, 为啥我会那么喜欢使用协程呢? 答案是协程大大简化了编程, 尤其是内存管理. 协程简化了内存管理 写过异步程序的人都知道, 编写异步代码最容易犯的错就是内存泄露了. asio的无栈协程通过 闭包 的形式, 将异步过程所要操作的资源绑定到 闭包 上, 并使用 shared_ptr 对这些资源执行引用计数管理. 当最后一个回调执行完毕后, shared_ptr 确保了资源的正确释放. 对于 copyable 的资源, 甚至直接作为 闭包 的一部分, 让资源随着闭包被 ASIO 拷贝, 释放, 拷贝, 释放, 最终最后一个闭包完成使命, 彻底撤销. 下面这个是 QQ 登陆过程的一个协程代码 // qq 登录办法-验证码登录 class login_vc_op : boost::asio::coroutine{ public: typedef void result_type; login_vc_op(boost::shared_ptr<qqimpl::WebQQ> webqq, std::string _vccode, webqq::webqq_handler_t handler) : m_webqq(webqq), vccode(_vccode), m_handler(handler) { std::string md5 = webqq_password_encode(m_webqq->m_passwd, vccode, m_webqq->m_verifycode.uin); // do login ! std::string url = boost::str( boost::format( "%s/login?u=%s&p=%s&verifycode=%s&" "webqq_type=%d&remember_uin=1&aid=%s&login2qq=1&" "u1=http%%3A%%2F%%2Fweb.qq.com%%2Floginproxy.html" "%%3Flogin2qq%%3D1%%26webqq_type%%3D10&h=1&ptredirect=0&" "ptlang=2052&from_ui=1&pttype=1&dumy=&fp=loginerroralert&" "action=2-11-7438&mibao_css=m_webqq&t=1&g=1") % LWQQ_URL_LOGIN_HOST % m_webqq->m_qqnum % md5 % vccode % m_webqq->m_status % APPID ); m_stream = boost::make_shared<avhttp::http_stream>(boost::ref(m_webqq->get_ioservice())); m_stream->request_options( avhttp::request_opts() (avhttp::http_options::cookie, m_webqq->m_cookies.lwcookies) (avhttp::http_options::connection, "close") ); m_buffer = boost::make_shared<boost::asio::streambuf>(); avhttp::async_read_body(*m_stream, url, *m_buffer, *this); } // 在这里实现 QQ 的登录. void operator()(boost::system::error_code ec, std::size_t bytes_transfered) { std::istream response( m_buffer.get()); if( ( check_login( ec, bytes_transfered ) == 0 ) && ( m_webqq->m_status == LWQQ_STATUS_ONLINE ) ) { m_webqq->m_clientid = generate_clientid(); //change status, this is the last step for login // 设定在线状态. m_webqq->change_status(LWQQ_STATUS_ONLINE, *this); }else { using namespace boost::asio::detail; m_webqq->get_ioservice().post(bind_handler(m_handler, ec)); } } // 登录完成 后的后续操作 void operator()(const boost::system::error_code& ec) { using namespace boost::asio::detail; if(ec) { m_webqq->get_ioservice().post(bind_handler(m_handler, ec)); return; } else { BOOST_ASIO_CORO_REENTER(this) { //polling group list BOOST_ASIO_CORO_YIELD m_webqq->update_group_list(*this); // 每 10 分钟修改一下在线状态. lwqq_update_status(m_webqq, m_webqq->m_cookies.ptwebqq); m_webqq->m_group_msg_insending = !m_webqq->m_msg_queue.empty(); if( m_webqq->m_group_msg_insending ) { boost::tuple<std::string, std::string, WebQQ::send_group_message_cb> v = m_webqq->m_msg_queue.front(); boost::delayedcallms( m_webqq->get_ioservice(), 500, boost::bind( &WebQQ::send_group_message_internal, m_webqq->shared_from_this(), boost::get<0>( v ), boost::get<1>( v ), boost::get<2>( v ) ) ); m_webqq->m_msg_queue.pop_front(); } m_webqq->get_ioservice().post(bind_handler(m_handler, ec)); } } } private: std::string webqq_password_encode( const std::string & pwd, const std::string & vc, const std::string & uin) { // ... 代码略 ... } private: int check_login(boost::system::error_code & ec, std::size_t bytes_transfered) { // ... 代码略 ... } private: boost::shared_ptr<qqimpl::WebQQ> m_webqq; webqq::webqq_handler_t m_handler; read_streamptr m_stream; boost::shared_ptr<boost::asio::streambuf> m_buffer; std::string vccode; }; 在这个协程里, 有的闭包成员被 shared_ptr 管理, 有的没有. 这些资源, 统统都没有使用显式的内存管理, 而是让这些对象随着闭包的撤销被自动的析构. ...

July 19, 2013