資訊專欄INFORMATION COLUMN
摘要：自身有的請求限制模塊流量限制模塊基于令牌桶算法，可以方便的控制令牌速率，自定義調(diào)節(jié)限流，就能很好的限制請求數(shù)量，然而，問題還是在于無法熱加載。漏桶算法可以很好地限制容量池的大小，從而防止流量暴增。這也是對流量攔截的算法，針對做流量監(jiān)測。
0x00.About
電商平臺營銷時候，經(jīng)常會碰到的大流量問題，除了做流量分流處理，可能還要做用戶黑白名單、信譽分析，進而根據(jù)用戶ip信譽權(quán)重做相應(yīng)的流量攔截、限制流量。
Nginx自身有的請求限制模塊ngx_http_limit_req_module、流量限制模塊ngx_stream_limit_conn_module基于令牌桶算法，可以方便的控制令牌速率，自定義調(diào)節(jié)限流，就能很好的限制請求數(shù)量，然而，nginx.conf問題還是在于無法熱加載。
之前做過的流量限制方案，《Nginx+Lua+Redis訪問頻率控制》，原理是動態(tài)的基于ip，實現(xiàn)簡單的漏桶算法，限制訪問頻率。
這里的話，就簡單分析下流量限制算法：漏桶算法、令牌桶算法、滑動窗口等在Nginx+Lua中如何動態(tài)綁定uri，動態(tài)設(shè)定rate實現(xiàn)。
0x01.Leaky Bucket Algorithm漏桶算法可以很好地限制容量池的大小，從而防止流量暴增。如果針對uri+ip作為監(jiān)測的key，就可以實現(xiàn)定向的設(shè)定指定ip對指定uri容量大小，超出的請求做隊列處理（隊列處理要引入消息機制）或者丟棄處理。這也是v2ex對流量攔截的算法，針對uri+ip做流量監(jiān)測。
漏桶算法實現(xiàn)上來說，就是建立一個隊列，在Redis中以uri:ip作為key，隊列上實現(xiàn)FIFO，在請求的前奏實現(xiàn)插入，請求完成后實現(xiàn)刪除。
實現(xiàn)方法是在Nginx發(fā)送http數(shù)據(jù)給用戶后，通過ngx.eof()關(guān)閉TCP協(xié)議，做其他操作，可以參見請求返回后繼續(xù)執(zhí)行。
下面是部分代碼：
local _M = { _VERSION = "2015.10.19", OK = 1, BUSY = 2, FORBIDDEN = 3 }
function _M.do_list(red, uri, key, size, rate)
local ok, err = red:expire(uri .. ":" .. key, size)
if not ok then
ngx.log(ngx.WARN, "redis set expire error: ", err)
return nil
end
local ok, err = red:rpush(uri .. ":" .. key, ngx.time())
if not ok then
ngx.log(ngx.WARN, "redis rpush error: ", err)
return nil
end
local res, err = red:lrange(uri .. ":" .. key, -(size * rate), -1)
if not ok then
ngx.log(ngx.WARN, "redis lrange error: ", err)
return nil
end
if #res < (size * rate) or res[#res] - res[1] < size then
return _M.OK
end
return nil
end
漏桶算法優(yōu)點很明顯，簡單、高效，能恰當攔截容量外的暴力流量。
但缺點也明顯，無法對流量做頻率處理，比如桶size大小設(shè)置范圍內(nèi)，進行并發(fā)攻擊依然能大流量并發(fā)效果，桶容量不可以過小，否則容易卡死正常用戶。
0x02.Token Bucket Algorithm令牌桶算法通過發(fā)放令牌，根據(jù)令牌的rate頻率做請求頻率限制，容量限制等。
系統(tǒng)根據(jù)rate(r/s)頻率參數(shù)向指定桶中添加token，滿則保持，不添加
當用戶請求Nginx時候，分析uri是否需要限制流量，限制則執(zhí)行令牌桶算法
如果桶滿了，則請求通過，消耗令牌一枚；如果請求Redis發(fā)現(xiàn)key不存在，則通過size裝滿令牌桶；如果桶內(nèi)令牌空，則廢棄或等待流量。
Nginx + Lua 模型中實現(xiàn)必然不能跑一個程序添加令牌了，這個時候需要在分析令牌時候，通過計算時間間隔一次性添加完令牌桶內(nèi)令牌。具體算法是：rate * time_distance = token_count令牌數(shù)量， if token_count > size 桶容量， token_count = size。
實現(xiàn)的存儲結(jié)構(gòu)是用Hash哈希存儲 uri:ip -> token_count，字段通過EXPIRE設(shè)定過期時間，達到長時間不訪問清除桶數(shù)據(jù)效果。
桶的大小、請求的頻率限制用Redis哈希表存儲，不存在則默認不做流量攔截。
用戶黑白名單通過Order SET設(shè)定信譽權(quán)重，權(quán)重越大，代表危險性越大，進而通過百分比改變接口限定rate頻率。
令牌桶算法優(yōu)勢在于能針對uri做定向rate、size等，不僅限制總請求大小，還限制平均頻率大小。缺點是，還是容易導致誤判等問題，并切用戶的信譽無法完全準確。
參考：1.Token Bucket Algorithm
2.Token Bucket Algorithm
3.電商課題I：集群環(huán)境下業(yè)務(wù)限流
本文出自 夏日小草,轉(zhuǎn)載請注明出處:http://homeway.me/2015/10/21/nginx-lua-traffic-limit-algorithm
-by小草
2015-10-21 21:49:10
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/39195.html
nginx限制連接數(shù)（ngx_http_limit_conn_module）模塊 ngx_http_limit_conn_module 對于一些服務(wù)器流量異常、負載過大，甚至是大流量的惡意攻擊訪問等，進行并發(fā)數(shù)的限制；該模塊可以根據(jù)定義的鍵來限制每個鍵值的連接數(shù)，只有那些正在被處理的請求（這些請求的頭信息已被完全讀入）所在的連接才會被計數(shù)。 該模塊使用漏斗算法（Leaky Bucket），該算法有...
nginx限制連接數(shù)（ngx_http_limit_conn_module）模塊 ngx_http_limit_conn_module 對于一些服務(wù)器流量異常、負載過大，甚至是大流量的惡意攻擊訪問等，進行并發(fā)數(shù)的限制；該模塊可以根據(jù)定義的鍵來限制每個鍵值的連接數(shù)，只有那些正在被處理的請求（這些請求的頭信息已被完全讀入）所在的連接才會被計數(shù)。 該模塊使用漏斗算法（Leaky Bucket），該算法有...
nginx限制連接數(shù)（ngx_http_limit_conn_module）模塊 ngx_http_limit_conn_module 對于一些服務(wù)器流量異常、負載過大，甚至是大流量的惡意攻擊訪問等，進行并發(fā)數(shù)的限制；該模塊可以根據(jù)定義的鍵來限制每個鍵值的連接數(shù)，只有那些正在被處理的請求（這些請求的頭信息已被完全讀入）所在的連接才會被計數(shù)。 該模塊使用漏斗算法（Leaky Bucket），該算法有...
摘要：為了解決以上問題，我們的分流系統(tǒng)選擇基于實現(xiàn)，通過或者協(xié)議來傳遞分流信息。正交是指用戶進入所有的實驗之間沒有必然關(guān)系。流量層內(nèi)實驗分流流量層內(nèi)實驗的因子有設(shè)備流量層。統(tǒng)計功效對于置信區(qū)間特征值等產(chǎn)品化功能支持。 什么是 ABTest 產(chǎn)品的改變不是由我們隨便「拍腦袋」得出，而是需要由實際的數(shù)據(jù)驅(qū)動，讓用戶的反饋來指導我們?nèi)绾胃玫馗纳品?wù)。正如馬蜂窩 CEO 陳罡在接受專訪時所說：「有...
閱讀 1607·2021-11-02 14:48
閱讀 3663·2019-08-30 15:56
閱讀 2777·2019-08-30 15:53
閱讀 3217·2019-08-30 14:09
閱讀 3109·2019-08-30 12:59
閱讀 2864·2019-08-29 18:38
閱讀 2702·2019-08-26 11:41
閱讀 2222·2019-08-23 16:45
