什么意思呢？就是說，tornado：老子只給你提供異步的入口，你要是真想異步操作，要不你就使用我提供的一些異步客戶端來搞，不然你就自己實(shí)現(xiàn)一個(gè)異步的操作。

以操作MongoDB為例，如果你的函數(shù)中含有調(diào)用mongo的調(diào)用（使用pymongo庫），那么這時(shí)候你加asynchronous這個(gè)裝飾器就沒有任何效果了，因?yàn)槟愕膍ongo調(diào)用本身是同步的，如果想做成異步非阻塞的效果，需要使用mongo出品的另一個(gè)python driver -- motor，這個(gè)driver支持異步操作mongo，這時(shí)候你再加asynchronous裝飾器并操作mongo就可以實(shí)現(xiàn)異步非阻塞的效果了。

所以，如果要使用tornado的異步調(diào)用，第一，使用tornado內(nèi)置的異步客戶端如httpclient.AsyncHTTPClient等；第二，可參考內(nèi)置異步客戶端，借助tornado.ioloop.IOLoop封裝一個(gè)自己的異步客戶端，但開發(fā)成本并不小。

然而，天無絕人之路，還是有辦法可以用較低的成本實(shí)現(xiàn)tornado的異步非阻塞的，那就是借助celery項(xiàng)目。前面說了，它是一個(gè)分布式的實(shí)時(shí)處理消息隊(duì)列調(diào)度系統(tǒng)，tornado接到請(qǐng)求后，可以把所有的復(fù)雜業(yè)務(wù)邏輯處理、數(shù)據(jù)庫操作以及IO等各種耗時(shí)的同步任務(wù)交給celery，由這個(gè)任務(wù)隊(duì)列異步處理完后，再返回給tornado。這樣只要保證tornado和celery的交互是異步的，那么整個(gè)服務(wù)是完全異步的。至于如何保證tornado和celery之間的交互是異步的，可以借助tornado-celery這個(gè)適配器來實(shí)現(xiàn)。

celery配合rabbitmq的工作流程如下：

這里我們來使用這幾個(gè)組件重寫前面的同步阻塞的例子：

#!/bin/env python

import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.httpclient

import time
import tcelery, tasks
from tornado.options import define, options
tcelery.setup_nonblocking_producer()
define("port", default=8000, help="run on the given port", type=int)

class AsyncMysqlHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    @tornado.gen.coroutine
    def get(self, flag):
        res = yield tornado.gen.Task(tasks.query_mysql.apply_async, args=[flag])
        self.write(res.result)
        self.finish()

class NowHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("i want you, right now!")

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[
            (r"/mysql_query/(d+)", AsyncMysqlHandler), 
            (r"/i_want_you_now", NowHandler)])
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

這里有個(gè)新的tornado.gen.coroutine裝飾器, coroutine是3.0之后新增的裝飾器.以前的辦法是用回調(diào)函數(shù)的方式進(jìn)行異步調(diào)用，如果使用回調(diào)函數(shù)的方式，則代碼如下：

#!/bin/env python

import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.httpclient
import time
import tcelery, tasks
from tornado.options import define, options
tcelery.setup_nonblocking_producer()
define("port", default=8000, help="run on the given port", type=int)

class AsyncMysqlHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    def get(self, flag):
        tasks.query_mysql.apply_async(args=[flag], callback=self.on_result)

    def on_result(self, response):
        self.write(response.result)
        self.finish()

class NowHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("i want you, right now!")

if __name__ == "__main__":
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[
            (r"/mysql_query/(d+)", AsyncMysqlHandler), 
            (r"/i_want_you_now", NowHandler)])
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

使用callback的話始終覺得會(huì)是的代碼結(jié)構(gòu)變得比較混亂，試想如果有大量異步回調(diào)，每一個(gè)都寫一個(gè)回調(diào)函數(shù)的話，勢(shì)必導(dǎo)致項(xiàng)目代碼結(jié)構(gòu)變得不那么清晰和優(yōu)雅，畢竟回調(diào)這種反人類的寫法還是很多人不喜歡的，但也看個(gè)人喜好，不喜歡callback風(fēng)格的可以使用yield來進(jìn)行異步調(diào)用。

tasks.py集中放置開發(fā)者需要異步執(zhí)行的函數(shù)。

import time
import torndb
from celery import Celery

db = torndb.Connection("127.0.0.1:3306", "user_db", "username", "passwd")
app = Celery("tasks", broker="amqp://guest:guest@localhost:5672")
app.conf.CELERY_RESULT_BACKEND = "amqp://guest:guest@localhost:5672"

@app.task(name="task.query_users")
def query_mysql(flag):
    return db.query("select * from table where flag=%s", flag)

if __name__ == "__main__":
    app.start()

然后啟動(dòng)celery worker監(jiān)聽任務(wù)隊(duì)列（消費(fèi)者會(huì)從任務(wù)隊(duì)列中取走一個(gè)個(gè)的task并執(zhí)行）：

celery -A tasks worker --loglevel=info

自此，依靠這種架構(gòu)，可以實(shí)現(xiàn)tornado處理請(qǐng)求的完全異步調(diào)用。

使用上述方案的異步非阻塞可能會(huì)依賴于celery的任務(wù)隊(duì)列長(zhǎng)度，若隊(duì)列中的任務(wù)過多，則可能導(dǎo)致長(zhǎng)時(shí)間等待，降低效率。
解決方案：

啟動(dòng)多個(gè)celery worker監(jiān)聽任務(wù)隊(duì)列，使用多進(jìn)程并發(fā)消費(fèi)任務(wù)隊(duì)列，celery命令可以通過-concurrency參數(shù)來指定用來執(zhí)行任務(wù)而prefork的worker進(jìn)程，如果所有的worker都在執(zhí)行任務(wù)，那么新添加的任務(wù)必須要等待有一個(gè)正在執(zhí)行的任務(wù)完成后才能被執(zhí)行，默認(rèn)的concurrency數(shù)量是機(jī)器上CPU的數(shù)量。另外，celery是支持好幾個(gè)并發(fā)模式的，有prefork，threading，協(xié)程（gevent，eventlet），prefork在celery的介紹是，默認(rèn)是用了multiprocess來實(shí)現(xiàn)的；可以通過-p參數(shù)指定其他的并發(fā)模型，如gevent（需自己配置好gevent環(huán)境）。

建立多個(gè)任務(wù)queue，把大量的任務(wù)分發(fā)到不同的queue中，減輕單個(gè)queue時(shí)可能出現(xiàn)的任務(wù)數(shù)量過載。

前面說了celery是一個(gè)分布式系統(tǒng)，也就是說，基于celery的項(xiàng)目可無痛實(shí)現(xiàn)分布式擴(kuò)展，前面寫的tornado和celery配合的demo，也可以實(shí)現(xiàn)獨(dú)立部署，即tornado server和celery server其實(shí)可以分開部署，即分布在不同的服務(wù)器上，celery server部署自己的tasks.py任務(wù)，并啟動(dòng)celery worker監(jiān)聽，然后在tornado server上添加以下代碼：

from celery import Celery
app = Celery(broker = "amqp://",)

并使用Celery的send_task函數(shù)調(diào)用任務(wù)：

app.send_task("function_name", args=[param1, param2, param3...])

即可實(shí)現(xiàn)tornado和celery的完全解耦。

另外，了解到tornado.concurrent.futures（py3自帶這個(gè)庫，py2需多帶帶安裝）這個(gè)module可以實(shí)現(xiàn)自定義函數(shù)的異步化，目前還沒有深入了解這個(gè)東西，有時(shí)間去研究一下這個(gè)東西，有心得再分享一下這個(gè)module相關(guān)的知識(shí)。