摘要：運(yùn)行過程中，客戶數(shù)據(jù)量集中在早晚高峰。多年運(yùn)營(yíng)結(jié)果是并發(fā)和數(shù)據(jù)庫處理能力是統(tǒng)計(jì)分析的最大瓶頸。

架構(gòu)使用的語言知識(shí)

這幾年數(shù)據(jù)分析迅速發(fā)展，我們也做了一個(gè)微數(shù)據(jù)分析工具。該產(chǎn)品已成功運(yùn)行三年，滿足日活百萬的企業(yè)。產(chǎn)品結(jié)構(gòu)很簡(jiǎn)單，用世上最簡(jiǎn)單的語言php，最普遍的數(shù)據(jù)庫mysql，服務(wù)器可以選擇apache也可以選擇nginx，一切看你自己的喜好。

一、微服務(wù)架構(gòu)圖

整個(gè)流程圖：
1、SDK上傳數(shù)據(jù)到服務(wù)器，如果安裝redis做緩存，數(shù)據(jù)會(huì)最先進(jìn)到redis，然后定時(shí)抽取數(shù)據(jù)到DB服務(wù)器。有了redis可以大大提高并行數(shù)據(jù)處理能力。
2、數(shù)據(jù)庫收集原始數(shù)據(jù)，存儲(chǔ)過程將數(shù)據(jù)按照不同維度統(tǒng)計(jì)各個(gè)指標(biāo)數(shù)據(jù)，同時(shí)將數(shù)據(jù)匯總表。
3、前臺(tái)報(bào)表展示，實(shí)時(shí)報(bào)表、小時(shí)報(bào)表和天報(bào)表數(shù)據(jù)展示。最好做到讀寫分離。

二、功能架構(gòu)

功能架構(gòu)主要包括功能、角色和權(quán)限三部分。功能是企業(yè)服務(wù)，用戶使用的每一個(gè)功能，就是企業(yè)的每一個(gè)服務(wù)。角色是用戶操作的歸類，功能與角色的對(duì)應(yīng)關(guān)系及權(quán)限。了解系統(tǒng)架構(gòu)的現(xiàn)狀，從功能架構(gòu)開始。

三、應(yīng)用架構(gòu)

應(yīng)用架構(gòu)的內(nèi)容包括現(xiàn)有架構(gòu)圖、web應(yīng)用現(xiàn)狀和接口架構(gòu)。其中，接口是應(yīng)用層面的關(guān)鍵，它是程序之間交互的部分。
主要包括clientdata、usinglog、event和errorlog等接口。
SDK通過接口定時(shí)發(fā)送數(shù)據(jù)到后臺(tái)。
應(yīng)用架構(gòu)羅列出前后端調(diào)用關(guān)系。

四、數(shù)據(jù)設(shè)計(jì)

兩個(gè)數(shù)據(jù)庫，大約一百張表。數(shù)據(jù)庫的設(shè)計(jì)依賴業(yè)務(wù)數(shù)據(jù)，對(duì)業(yè)務(wù)數(shù)據(jù)歸類，導(dǎo)致數(shù)據(jù)設(shè)計(jì)畫出E_R圖，數(shù)據(jù)設(shè)計(jì)完成，最終數(shù)據(jù)庫設(shè)計(jì)就出來了。數(shù)據(jù)庫只要早起設(shè)計(jì)的號(hào)，是可以做到易伸縮、易拆分的。統(tǒng)計(jì)類主要分為統(tǒng)計(jì)的維度，還有就是用戶、設(shè)備、錯(cuò)誤信息等。
1、數(shù)據(jù)處理能力
日活百萬，啟動(dòng)次數(shù)大概兩百萬，事件數(shù)和頁面訪問量起碼在三百到五百萬之間，平均每小時(shí)數(shù)據(jù)量五十萬。運(yùn)行過程中，**客戶數(shù)據(jù)量集中在早晚高峰。根據(jù)客戶的特殊情況，會(huì)把一些任務(wù)安排在閑暇時(shí)間段，比如日任務(wù)、周任務(wù)、月任務(wù)等安排在零晨。
好的硬件配置是數(shù)據(jù)處理的好幫手，更大的內(nèi)存更快的硬盤絕對(duì)可以讓數(shù)據(jù)流快速執(zhí)行。
2、數(shù)據(jù)清洗和讀寫分離
大量原始數(shù)據(jù)入庫，這些數(shù)據(jù)處理之后就是垃圾數(shù)據(jù)了。當(dāng)所有報(bào)表數(shù)據(jù)都統(tǒng)計(jì)之后并寫入各個(gè)維度表之后，需要定時(shí)把這些數(shù)據(jù)清除掉。
前臺(tái)報(bào)表展示數(shù)據(jù)跟存儲(chǔ)分析數(shù)據(jù)庫最好分開。

五、物理架構(gòu)

微服務(wù)的物理架構(gòu)需要的機(jī)器很少，一臺(tái)機(jī)器也能跑起來。分析統(tǒng)計(jì)主要是數(shù)據(jù)處理能力要求很高，數(shù)據(jù)庫服務(wù)器需要兩臺(tái)，web端需要一臺(tái)足矣。多年運(yùn)營(yíng)結(jié)果是并發(fā)和數(shù)據(jù)庫處理能力是統(tǒng)計(jì)分析的最大瓶頸。

六、繼續(xù)優(yōu)化的方向

1、數(shù)據(jù)讀寫分離，數(shù)據(jù)清洗。
2、并發(fā)量。

七、客戶

客戶最關(guān)心的數(shù)據(jù)：
每一個(gè)客戶最關(guān)心的就是用戶表，用戶新增狀況、用戶活躍情況、用戶留存情況。
不同的客戶對(duì)用戶要求不同，需要判斷用戶是否是刷機(jī)來的，用戶跟設(shè)備號(hào)及用戶ID（用戶號(hào)碼）之間的映射關(guān)系。
事件數(shù)據(jù)也是很重要的，關(guān)系轉(zhuǎn)化率。
頁面訪問跟事件是同等重要。
錯(cuò)誤數(shù)據(jù)可以檢測(cè)應(yīng)用存在的Bug。
不同的客戶，不同的使用場(chǎng)景對(duì)指標(biāo)會(huì)有不同需求。
本文原創(chuàng)首發(fā)于Cobub Razor官網(wǎng)博客，作者qhzhang, 轉(zhuǎn)載請(qǐng)注明出處！