成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

TiDB 在 Mobikok 廣告系統(tǒng)中的應(yīng)用和實(shí)踐

2json / 3118人閱讀

摘要:總部在中國(guó)深圳,聚焦于訂閱的海外流量變現(xiàn)業(yè)務(wù)。截止目前,系統(tǒng)已對(duì)億用戶進(jìn)行廣告優(yōu)化,已接入上百家廣告主以及上百家渠道,致力于高效,便捷,專(zhuān)業(yè)的幫助廣告主以及渠道互惠共贏。作者,深圳可可網(wǎng)絡(luò)服務(wù)端架構(gòu)負(fù)責(zé)人

公司介紹

Mobikok(可可網(wǎng)絡(luò))成立于 2013 年,是一家快速成長(zhǎng)的移動(dòng)互聯(lián)網(wǎng)營(yíng)銷(xiāo)公司,專(zhuān)注于移動(dòng) eCPM 營(yíng)銷(xiāo)??偛吭谥袊?guó)深圳,聚焦于訂閱 offer 的海外流量變現(xiàn)業(yè)務(wù)。Mobikok 提供的接口方式支持各類(lèi)手機(jī)端流量(API、SDK、Smartlink),RTB(實(shí)時(shí)競(jìng)價(jià)系統(tǒng))對(duì)接海外的 DSP(Demand-Side Platform,需求方平臺(tái))高效優(yōu)化客戶的廣告效果。截止目前,系統(tǒng)已對(duì) 2 億用戶進(jìn)行廣告優(yōu)化,已接入上百家廣告主以及上百家渠道,Mobikok 致力于高效,便捷,專(zhuān)業(yè)的幫助廣告主以及渠道互惠共贏。

場(chǎng)景介紹:SSP系統(tǒng)

訂閱 SSP(Sell-Side-Platform)平臺(tái)當(dāng)前業(yè)務(wù)主要分為:SDK、Smartlink、Online API 以及Offline API;在當(dāng)前 SSP SDK 業(yè)務(wù)系統(tǒng)當(dāng)中,累計(jì)用戶已達(dá)到 2 億,最初使用的是 MySQL 主從分表的方式存儲(chǔ)用戶數(shù)據(jù),隨著數(shù)據(jù)量的增加,MySQL 單機(jī)容量以及大數(shù)據(jù)量查詢成為了瓶頸;當(dāng)單表數(shù)據(jù)達(dá)到 2 千萬(wàn)以上時(shí),單機(jī) MySQL 的查詢以及插入已經(jīng)不能滿足業(yè)務(wù)的需求,當(dāng)訪問(wèn)量到一定階段后,系統(tǒng)響應(yīng)能力在數(shù)據(jù)庫(kù)這一塊是一個(gè)瓶頸。

一次很偶然的機(jī)會(huì)在 GitHub 上面了解到 TiDB,并且因?yàn)楝F(xiàn)在業(yè)務(wù)系統(tǒng)當(dāng)中使用的 Redis 集群是 Codis,已在線上穩(wěn)定使用兩年,聽(tīng)聞 TiDB 創(chuàng)始團(tuán)隊(duì)就是之前 Codis 的作者,所以對(duì) TiDB 有了極大的興趣并且進(jìn)行測(cè)試。通過(guò)測(cè)試單機(jī) MySQL 和 TiDB 集群,當(dāng)數(shù)據(jù)量達(dá)到數(shù)千萬(wàn)級(jí)別的時(shí)候發(fā)現(xiàn) TiDB 效率明顯高于 MySQL。所以就決定進(jìn)行 MySQL 到 TiDB 遷移。

遷移后整體架構(gòu)圖:

引入TIDB

在選擇使用替換 MySQL 方案當(dāng)中。我們主要考慮幾點(diǎn):

支持 MySQL 便捷穩(wěn)定的遷移,不影響線上業(yè)務(wù);

高度兼容 MySQL,少改動(dòng)代碼;

支持水平彈性部署服務(wù)以及在線升級(jí);

支持水平擴(kuò)展業(yè)務(wù);

成熟的配套監(jiān)控服務(wù)。

TiDB 數(shù)據(jù)庫(kù)整體集群配置:2 TiDB、3 TiKV、3* PD。

從 12 月初正式上線到目前為止,TiDB 穩(wěn)定運(yùn)行四個(gè)多月,最高 QPS 達(dá)到 2000,平均 QPS 穩(wěn)定在 500 左右。TiDB 在性能、可用性、穩(wěn)定性上完全超出了我們的預(yù)期,但是由于前期我們對(duì) TiDB 的了解還不深,在此遷移期間碰到的一些兼容性的問(wèn)題,比如 TiDB 的自增 ID 的機(jī)制,排序的時(shí)候需要使用字段名等,咨詢 TiDB 的工程師都很快的得到了解決,非常感謝 TiDB 團(tuán)隊(duì)的支持以及快速響應(yīng)。

下圖是當(dāng)前集群的 Grafana 展示圖:

后續(xù)計(jì)劃

使用 TiDB 對(duì)于像我們這樣可預(yù)期核心數(shù)據(jù)會(huì)暴增的場(chǎng)景,有非常大的意義。在后端支撐力量有限時(shí),業(yè)務(wù)暴增時(shí)只需要增加機(jī)器,而不是頻繁重構(gòu)業(yè)務(wù),讓我們有更多精力在自己的業(yè)務(wù)上耕耘,增加我們的行業(yè)競(jìng)爭(zhēng)力。未來(lái)我們還有 ADX(Ad Exchang,廣告交易平臺(tái)) 和 DSP 業(yè)務(wù),需要處理海量的用戶數(shù)據(jù)以及廣告數(shù)據(jù)。目前統(tǒng)計(jì)數(shù)據(jù)這一塊當(dāng)前業(yè)務(wù)當(dāng)中使用的是 Spark Streaming,通過(guò)和 TiDB 開(kāi)發(fā)團(tuán)隊(duì)溝通,官方 TiSpark 可直接引入到當(dāng)前統(tǒng)計(jì) Spark 群集當(dāng)中,非常期望在后續(xù)開(kāi)發(fā)當(dāng)中使用 TiSpark。

問(wèn)題建議

在實(shí)際應(yīng)用當(dāng)中,因?yàn)槲覀兦袚Q的并不是只有用戶數(shù)據(jù)表,還遷移了關(guān)于廣告業(yè)務(wù)、渠道業(yè)務(wù)基礎(chǔ)數(shù)據(jù)表。由于 TiDB 是一個(gè)分布式數(shù)據(jù)庫(kù),對(duì)于一些小表以及 count(*) 操作會(huì)影響效率,后來(lái)咨詢 TiDB 官方得知,TiDB 有不同的隔離級(jí)別,SQL 也有高低優(yōu)先級(jí),如果有全表掃描的需求,可以使用低的隔離級(jí)別或者是低的優(yōu)先級(jí)。將來(lái)我們就可以直接所有線上業(yè)務(wù)使用 TiDB 進(jìn)行替換,最后還是非常感謝 TiDB 團(tuán)隊(duì)的支持與幫助。

作者:rayi,深圳可可網(wǎng)絡(luò)服務(wù)端架構(gòu)負(fù)責(zé)人

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/17727.html

相關(guān)文章

  • database

    摘要:它是第一個(gè)把數(shù)據(jù)分布在全球范圍內(nèi)的系統(tǒng),并且支持外部一致性的分布式事務(wù)。目的是使得開(kāi)發(fā)者閱讀之后,能對(duì)項(xiàng)目有一個(gè)初步了解,更好的參與進(jìn)入的開(kāi)發(fā)中。深度探索數(shù)據(jù)庫(kù)并發(fā)控制技術(shù)并發(fā)控制技術(shù)是數(shù)據(jù)庫(kù)事務(wù)處理的核心技術(shù)。 存儲(chǔ)過(guò)程高級(jí)篇 講解了一些存儲(chǔ)過(guò)程的高級(jí)特性,包括 cursor、schema、控制語(yǔ)句、事務(wù)等。 數(shù)據(jù)庫(kù)索引與事務(wù)管理 本篇文章為對(duì)數(shù)據(jù)庫(kù)知識(shí)的查缺補(bǔ)漏,從索引,事務(wù)管理,...

    csRyan 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<