愛普新媒成立于2010年，是一家專注于移動互聯(lián)網(wǎng)產(chǎn)品研發(fā)和新媒體整合營銷的高新技術型公司，旗下?lián)碛?00余款精品軟件，內(nèi)容涵蓋日常生活、效率工具、文章資訊等多個方面，主營以天氣預報、快游等綜合自媒體矩陣為載體的推廣業(yè)務和以云魔方DSP移動互聯(lián)網(wǎng)廣告分發(fā)平臺為基礎的廣告投放業(yè)務。

愛普新媒廣告業(yè)務數(shù)據(jù)規(guī)模達到數(shù)百TB，日增長量為1TB左右，業(yè)務日常不固定的分析需求多，現(xiàn)有的大數(shù)據(jù)處理方案下，數(shù)據(jù)部門每月需投入大數(shù)據(jù)工程師20個人日，額外花費數(shù)千元維持一個數(shù)據(jù)倉庫集群，且平均每次需求處理時長為1.8天。基于已有架構(gòu)，數(shù)據(jù)部門將廣告日志數(shù)據(jù)壓縮后存放于對象存儲UFile中，接收到業(yè)務分析師不固定的數(shù)據(jù)需求后，再將用于分析的原始數(shù)據(jù)，臨時加載到數(shù)據(jù)倉庫UDW中，完成SQL分析后實施清除操作。

• 數(shù)據(jù)規(guī)模達到數(shù)百TB，極大程度依賴大數(shù)據(jù)工程師；并且每次任務處理周期長，對分析結(jié)果存有疑問時，無法查看原始數(shù)據(jù)進行校驗；
• 每月不固定數(shù)據(jù)分析需求多，占用數(shù)據(jù)部門的技術人力資源；需求變動返工次數(shù)多，會導致大量重復性工作；并且隨著數(shù)據(jù)規(guī)模日增長量的不斷提升，用于臨時存放不固定需求數(shù)據(jù)的GreenPlum成本一直在增加；
• 在產(chǎn)品側(cè)需支持數(shù)百TB規(guī)模的數(shù)據(jù)分析，業(yè)務分析師能夠獨立完成不固定需求分析工作，需要降低計算成本投入和運維投入。

新架構(gòu)中使用USQL替換原先用于臨時加載數(shù)據(jù)的GreenPlum，省去數(shù)據(jù)從UFile導入到GreenPlum的過程，并使得業(yè)務分析師能夠直接通過SQL分析UFile中海量數(shù)據(jù)，全程無需大數(shù)據(jù)工程師的參與。
數(shù)據(jù)湖分析（USQL）是一種可擴展性強、成本低廉的無服務器SQL分析計算引擎，可輕松完成面向海量數(shù)據(jù)的數(shù)據(jù)建模工作，SQL即可完成數(shù)據(jù)查詢和分析，極大降低使用大數(shù)據(jù)的門檻，且無需數(shù)據(jù)庫管理員和運維人員，大幅度減少對大數(shù)據(jù)工程師的依賴。

• 計算成本降低97.5%

相較于愛普新媒現(xiàn)在每月花費在數(shù)據(jù)倉庫UDW（用于臨時存放數(shù)據(jù)）的數(shù)千元，處理同樣的數(shù)據(jù)，USQL可將成本控制在每月幾十元，因為USQL按照實際分析數(shù)據(jù)量計費，每GB數(shù)據(jù)分析價格極低，且不使用時不計費。

• 任務周期縮短55.6%

愛普新媒現(xiàn)有架構(gòu)下，處理不固定的數(shù)據(jù)需求，數(shù)據(jù)導入與分析平均處理時長為1.8天，而USQL可省去數(shù)據(jù)導入的步驟，減少運維工作量，大幅度縮短每次任務完成時間。

• 分析效率提升5倍

愛普新媒所有真實業(yè)務SQL均已落地，其中最耗時的SQL分析時間可從600秒降至118秒，整體明顯提高SQL分析效率。

• 大數(shù)據(jù)工程師投入降為0

目前每月需投入大數(shù)據(jù)工程師20個人日，使用USQL產(chǎn)品，業(yè)務分析師可直接通過SQL在對象存儲UFile中完成數(shù)據(jù)分析，極大減少對工程師的依賴，有限的人力資源可得到更好的利用。
“使用USQL產(chǎn)品，用戶在原有的數(shù)據(jù)文件基礎上進行數(shù)據(jù)建模，即可使用SQL進行業(yè)務數(shù)據(jù)的快速查詢，此種方式對原有數(shù)據(jù)文件改動較小，用戶不用關注大數(shù)據(jù)分布式處理的過程，業(yè)務遷移方便。對比我們現(xiàn)有的大數(shù)據(jù)處理方案，節(jié)省80%的服務器成本，提升50%數(shù)據(jù)分析速度，同時也縮短了新業(yè)務的開發(fā)周期，值得推薦。”
——愛普新媒CTO 牛德恒