工程实践：用Asyncio协程构建高并发应用

本文转载自微信公众号「小菜学编程」，作者 fasionchan。转载本文请联系小菜学编程公众号。

C10K问题

在互联网尚未普及的早期，一台服务器同时在线 100 个用户已经算是u J \ C 9 @ /非常大型的应用了，工G s 8 = $ T F ?程上没有什么挑战。

随着 Web 2.0 时代的到来，用户群体成几何倍数增长，服务器需要更强的并发处理能力才能承载海量的用户。这时，著名的 C10K 问题诞生了——如何让单台服务器同时支撑 1 万个客户端连接?

最初的服务器应用编程模型，是基于进程/线程的：当一个新的客户端连接上来，服务器就分配一个进程或v Q = | i 1线程，来处理这个新连接。这意味着，想要解决 C10K 问题，操作系统需要同时运行 1 万个进程或线程。

进程和线程是操作系统中，开销最大的资源之一。每个新连接都新开进程/线程，将造成极大的资源浪费。况且，受硬件资源制约，系统同一时间能运行的进程/线程数E 7 k G R存在上限。

换句话讲，在进程/线程模型中，每台服务器能处理的客户端连接数是非常有限的。为支持海量的业务，只能通过堆服务器这种简单粗暴的方式来实现。但这样的人海战术，既不稳定，也t o I t [不经济。

为了在单个进程/线程中同时处理多个网络连接，select 、 poll 、epoll 等 IO+ $ : 0 f多路复用 技术应运而生= & ~ + } u I $。在IO多路复用模型，进程/线程不再阻塞在某个连接上，而是同时监控多个连接，只处理那些有V Y 6 C – 9 I s S新数据达R 3 e 9 N N * C到的活跃连接。

为什么需要协程

单纯的IO多~ / 2 S = n #路复用编程模型，不像阻塞式编程模型那样直观，这为工程项目带来诸多不便。最典型的像 Ja( * [ bvaScript 中的回调式编程模型，程序中各种 callback 函数满天飞，这不是一种直观的思维方式。

为实现阻塞式那样直观的编程模型，协程(用户态线程)的概念被提出来。协程在进程/线程基础之上，实现多个执行上下文。由 epoll 等IO多路复用技术实现的事件循环，则负责驱动协程的调度、执行。

协A ? o ? b H程可以看做是IO多路复用技术更高层次的封装。虽然与原始IO多路复用相比有一定的性能开销，但与进程/线程模型相比却非常突出。协程占用资源比进程/线程少，而且切换成本比较低。因此，n ~ S h u F o协程在高并发应用领域潜力无限。

然而，协程独特的运行机制，让初学者吃了不少亏，错漏百出。

接下来，我们通过若干简单例子，探索协程应用之道，从中体会协程的作用，并揭示B d y高并发应用设计、部署中存在的常见误区。由于 asyncio 是 Python 协程发展的主要趋势，h G ; K ! . ~ D n例子u c K o : M 3 # u便以 asyncio 为讲解对象。

第一个协程应用

协程应用由事件循O M f ^ F , k h环驱动，套接字必须是非阻塞模式，否则会阻塞事件循环。因此，一旦使用协程，– H 2就要跟很多类库说拜拜了。以 MySQL 数, q , e据库操作为例，如果我们使用 asyncin E Eo ，就要用 aiomysql 包来连数据库。

而想要开发 Web 应用，则可以用 aiG N O r Lohttp 包，它可以通过 pip 命令安装：

$pipinstallaiohttp

这个例子实现一个完整 Web 服务器，虽然它只有返回当前时间的功能：

fromaiohttpimportws f l 1eb
fromdatetimeimportdatetime

asyncdefhandle(request):
returnweb.Resph & v _onse(text=datetime.now().strftime('%Y-%m-%d%~ 1 uH:%M:%S'))

ap} M 7p=web.Application()
app.add_routes([
web.get('/',handle),
])

if__name__=='__main__':
web.run_app(app)

第 4 行，实现处理函数，获取当前时间并返回;

第 7 行，创建应用对象，并将处理函数注册到路由中;

第 13 行，将 Web 应用跑起来，默认端口K } l I w 8 l 0 c是 8080 ;

当一3 w 9 4 ) # 7 I个新的请求到达时，aiohttp 将创建一个新协^ b | ;程来处理该请求，它将负责执行对应的处理函数。因此，处理函数必须是合法的协程函数，以 async 关键字开头。

将程序跑起来后，我们就可以通过它获悉当前时间。在命令行中，可以用 curl 命令来发起请求：

$curlhttp://127.0.0.1:8080/
2020-08-0615:50:34

压力测试

研发高并发应用，需要评估应用的处理能力。我们可以在短时间内发起大量的请求，并测算应用的吞吐能力。然而，就^ u M [ 2 f ) w算你手再快，一秒钟也只能发起若干个请求呀。怎么办呢?

我们需要借助一些压力测试工具，例如 Apache 工具集中的 ab 。如何安装使用 ab 不在本文的讨论范围，请参考这篇文章：Web压力测] u 3 d试(https://network.fasim 1 x W @ T | uonchan.com/zh_CN/l; q ratest/performance/web-pressT % k W e Uure-test.html) 。

事不宜迟，我们先以 100 为并发数，压 10000 个请求看看结果：

$ab-n10000-c100httpT t @ q://12o @ J s E n # L |7.0.0.1:8080/
Thisis` d f VApacheBench,Version2.3<$Revision:1706008$>
Copyright1996AdamTwiss,ZeS a X v W OusTechD y Q M M 2nologyLtd,http://www.zeustech.net/
Licensedt# Q - : W t h CoTheApacheSoftwareFoundx l Bation,J g Phttp://www.apache.+ V _ d Z v Aorg/

Benchmarking127.0.0.1(bepatient)
Completed1000requests
Completed2000requests
Completed3000requests
Com; d \pleted4000requests
Completed5000requests
Completed6000requests
Completed7D 9 o 5000requests
Completed8000requests
Complete. ; ] ; Q ~d9000requests
Completed10000reques& 5 a o g [ Wts
Finished10000reque/ o ksts


ServerSoftware:Python/3{ [ J p.8
ServerHostny 8 @ , 5 C = ^ yame:127.0.0.1
ServerPort:8080

DocumentPath:/
DocumentLength:19bytes

ConcurrencyLevel:100
Timetakenfortests:5.972seconds
Completerequests:10000
Failec N h # s ` A [drW \ r sequests:0
Totaltransferred:1700000bytes
HTMLtransferred:190000bytes
Requestspersecond:1674.43[#/sec](mean)
TimeperreqW T Iuest:5r z w = X * (9.722[ms](mean)
Timeperrequest:0.597[ms](mean,acy ~ } 5 h % Xrossallconcm } Q K f currentrequests)
Transferrate:277.98[Kbytes/sec]received

ConnectionTimes(ms)
minmean[+/-sd]md { 2 i S w } 6 Vediaa c V ) b u - }nmax
Connecn & J vt:021.5115
Processz 3 ming:43585.05789
Waiting:29476.34785
Total:43604.8589I a F n O C = z0

Percentageo} ( ; F }ftherequestsservedwithinacertaintime(ms)
50%58
66%59
75%60
80%6+ v 51
90%65
95%69
98%72
99%85
100%90(longestr1 \ g s e pequest)

-n 选项，指定总请求数，即总共发多少个请求;

-c 选项，指定并发数，即同时发多少个请求;

从 ab 输出的报告中可以获悉，10000 个请. o l求全部成功，总共耗时 5l ( V 8 B 5 A . {.972 秒，处理速度可以达到 1674.43 个每秒。

现在，我们尝试提供并发数，看处理速度有没有提升：

$ab-n10000-c100http://127.0.0.1:8080/

在 1000 并发数下，10000 个请求在 5.771 秒内完成，处理速度是 1732.87 ，略有提升但很不明显。这一点也不意外，例子中的处理逻辑绝大部分都是[ [ i ~ } 2 v D计算型，虚增并发数几乎没有任何意义。

协程擅长做什么

协程擅长处理 IO 型的应用逻辑Q ) H r R 1 V H e，举个例子，当某个协程在等待数据库响应时，事+ k d t 3 + l件循环将唤醒另一个就绪协程来执行，以此提高吞吐。为降低复杂性，我们通A 7 s K过在程序中睡眠来模拟等待数据库的效果。

importasyncio

fromaiohttpimportweb
fros j smdatetimeimportdatetime

asyncdefhandle(request):
#睡眠一秒钟
asyncio.sleep(1)
returnweb.Response(text=\ @ $ z P w j V Ydatetime.now().strftime('%Y-%m-%d%H:%M:%S[ _ g K ^ b D u }'))

app=web.Application()
app.add_routes([
web.get('/',handleN G | & W 1 C N),
])

if__name__=='__main__':
web.run_app(app)- d P J k )

可以看到，随着并发数的增加，处理速度也有明显的提升，趋势接近线性。

‭

链接