利用xdist實(shí)現(xiàn)自動(dòng)化測(cè)試用例并行執(zhí)行

tabalt 發(fā)布于2021-09-06 15:00 / 1592人閱讀

摘要：在測(cè)試行業(yè)，如果利用作為腳本語言開發(fā)自動(dòng)化測(cè)試用例，可用的框架有等主流可供選擇，個(gè)人感覺較之和應(yīng)該算是現(xiàn)階段最靈活，功能最全面，擴(kuò)展最豐富的框架了。不知道各位在做自動(dòng)化的時(shí)候有沒有遇到過用例數(shù)過多，單機(jī)執(zhí)行效率不高的困擾。

在測(cè)試行業(yè)，如果利用python作為腳本語言開發(fā)自動(dòng)化測(cè)試用例，可用的框架有rf,unittest,pytest等主流可供選擇，個(gè)人感覺較之rf和unittest,pytest應(yīng)該算是現(xiàn)階段最靈活，功能最全面，擴(kuò)展最豐富的框架了。

不知道各位在做自動(dòng)化的時(shí)候有沒有遇到過用例數(shù)過多，單機(jī)執(zhí)行效率不高的困擾。接下來淺談個(gè)人對(duì)單元測(cè)試框架pytest中的并行執(zhí)行插件pytest-xdist使用心得.

前提
可以并行執(zhí)行的測(cè)試用例，需要滿足以下原則：
1、用例之間是獨(dú)立的，用例之間沒有依賴關(guān)系，用例可以完全獨(dú)立運(yùn)行?【獨(dú)立運(yùn)行】
2、用例執(zhí)行沒有順序，隨機(jī)順序都能正常執(zhí)行?【隨機(jī)執(zhí)行】
3、每個(gè)用例都能重復(fù)運(yùn)行，運(yùn)行結(jié)果不會(huì)影響其他用例?【不影響其他用例】

pytest-xdist這款插件允許用戶將測(cè)試并發(fā)執(zhí)行(進(jìn)程級(jí)并發(fā)). 我們可以通過官方文檔https://github.com/pytest-dev/pytest-xdist了解到相關(guān)的使用信息

?pytest -n????????參數(shù)，指定并行執(zhí)行的cpu個(gè)數(shù)，比如咱們的測(cè)試執(zhí)行機(jī)cup個(gè)數(shù)為8，如果想啟動(dòng)全部cpu參與調(diào)度，則直接使用pytest -n 8指定即可

pytest -n auto? ?可以允許自動(dòng)選擇需要調(diào)度的cpu個(gè)數(shù)，簡(jiǎn)單方便，可以講此參數(shù)配置到pytest.ini文件中

?可以對(duì)比下使用插件前后的執(zhí)行效率：

使用xdist實(shí)現(xiàn)并行執(zhí)行前（先注釋掉pytest.ini配置文件中配置）：

? ? ? ?僅僅構(gòu)造20條測(cè)試數(shù)據(jù)，參數(shù)化驅(qū)動(dòng)

?基本每條用例需要執(zhí)行時(shí)間都超過2s，在軟硬件及網(wǎng)絡(luò)環(huán)境影響下個(gè)別用例執(zhí)行時(shí)間甚至超過20s

?如此僅僅20條測(cè)試測(cè)試數(shù)據(jù)執(zhí)行都花了近2分鐘，如果測(cè)試用例數(shù)量達(dá)到數(shù)千條，測(cè)試時(shí)間無法控制，對(duì)執(zhí)行者也是一種煎熬。

當(dāng)用例數(shù)量龐大時(shí)，還可以利用分布式+xdist并行執(zhí)行的策略，將執(zhí)行效率再提升，此處以單機(jī)資源+xdist為例，以下為使用并行執(zhí)行策略時(shí)執(zhí)行效率：

先取消pytest.ini中配置的注釋

執(zhí)行相同測(cè)試用例，使用xdist并行執(zhí)行所用時(shí)間近11s,時(shí)間對(duì)比使用前，提升還是挺明顯的，當(dāng)然我們?cè)趯?shí)際工作中，還可以使用多資源分布式+xidist并行執(zhí)行的策略，進(jìn)一步提高執(zhí)行效率。

使用xdist時(shí)還需注意官方文檔中提到的加文件鎖的方法，因?yàn)樵趯?shí)際工作中，如果不用filelock，會(huì)導(dǎo)致執(zhí)行時(shí)競(jìng)爭(zhēng)資源而報(bào)錯(cuò)的情況，詳細(xì)可閱讀官方文檔中filelock的使用方法