【深度】Kubernetes在京東人工智能平臺的應用

bingchen 發(fā)布于2019-06-28 15:59 / 3468人閱讀

摘要：目前是容器圈里的當紅炸子雞，京東人工智能平臺登月中也大量應用了。我們將在月日，北京，國家會議中心舉辦的京東技術開放日人工智能平臺的系統(tǒng)架構與數據處理專場中，專題分享在京東人工智能平臺的應用。

“目前Kubernetes是容器圈里的“當紅炸子雞”，京東人工智能平臺——登月中也大量應用了Kubernetes。在京東資深架構師范振看來，登月平臺的設計出發(fā)點就是Kubernetes調度一切?！?/p>

在京東，分布式機器學習平臺已經應用于包括電商，金融等多個應用場景?！拔覀儗⒃?月16日，北京，國家會議中心舉辦的京東技術開放日——人工智能平臺的系統(tǒng)架構與數據處理專場中，專題分享Kubernetes在京東人工智能平臺的應用?！?/p>

范振談到：“包括將學習任務分配到集群的物理節(jié)點上進行運算，如果遇到任務失敗的情況，Kubernetes 會自動重啟任務；以及Kubernetes可以把很多并發(fā)進程組織成service，并且實現(xiàn)auto scaling——白天用戶數量多的時候，增加Web service里的進程數，減少AI作業(yè)的進程數。晚上減少Web service里的進程數，釋放資源給AI作業(yè)，提升機器資源利用率和降低基礎設施成本?！?/p>

這些內容都將在9月16日，北京，國家會議中心舉辦的京東技術開放日上做專題分享。

人工智能的集中式爆發(fā)，機器學習的訓練過程對于快速迭代的高要求，讓能夠輕量級接入，并且可以對用戶提供秒級響應的Kubernetes發(fā)揮了巨大的優(yōu)勢。師出同門的Google Tensorflow項目很早也進行了與Kubernetes的集成，京東的人工智能平臺上實現(xiàn)了Spark on Kubernetes。

從Kubernetes的角度出發(fā)，把Driver和Executor分別Container化，完成Spark的原生調度，架構更清晰。同時，繼承了Docker的計算資源隔離性，通過Kubernetes的Namespace，將不同的Job從網絡上徹底隔離。

在9月16日，北京，國家會議中心舉辦的京東技術開放日上，這些大家關注的熱點內容，都將在活動現(xiàn)場精彩呈現(xiàn)。

范振認為，未來Kubernetes也可能會成為云管理平臺的統(tǒng)治者，也還會有更多的應用在Kubernetes上原生運行起來。因為對于Kubernetes，它可以把很多分散的物理計算資源抽象成一個大的資源池，利用這些資源來執(zhí)行用戶的計算任務。對于用戶來說，操作一個分散的集群資源就像在使用一臺計算機。

實際上，Kubernetes不僅簡單的解決了容器的部署和運行問題，它還關注如何幫助用戶構建容器化分布式服務這個問題。因此9月16日，北京，國家會議中心舉辦的京東技術開放日對于在容器化道路上還在“摸著石頭過河”的用戶來說，也是很有價值的。

“Kubernetes作為一個快速演進的項目，應用起來潛在的坑還是很多的。本次京東技術開放日上的Kubernetes議題，就是在你做為應用新技術方面，可以借鑒的很好的一次經驗分享?！? ——京東副總裁翁志

在深度學習中的應用深度學習的應用計算機在人工智能應用深度學習的的應用

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/27037.html

CloudBest：年度復盤丨盤點2020無處不在的「云原生」

摘要：華為云華為云在云原生這場游戲中，最具競爭力的玩家之一。年，金山云在云原生領域推出了三款重磅產品星曜裸金屬服務器云服務器和云盤。在線上智博會上，浪潮云發(fā)布了經過全新迭代升級的浪潮云，進一步提升平臺云原生服務能力。面對數字時代復雜系統(tǒng)的不確定性，傳統(tǒng)的 IT 應用架構研發(fā)交付周期長、維護成本高、創(chuàng)新升級難，煙囪式架構，開放性差、組件復用度低，這些都成為了企業(yè)業(yè)務快速增長的瓶頸。而云原生以其敏捷、...

Tecode 2022-06-28 18:59 評論0 收藏0
CNCF案例研究：京東

摘要：例如，京東的產品數據庫中有超過一萬億個圖像供客戶使用，每天增加億個圖像。京東目前處于的第二階段該平臺已經穩(wěn)定，可擴展且靈活，因此重點是如何更有效地運行以進一步降低成本。社區(qū)參與是京東的優(yōu)先事項。京東如何在超大規(guī)模的電子商務中率先采用Kubernetes showImg(https://segmentfault.com/img/bVbodkt?w=1674&h=830); 公司：京東地...

Jioby 2019-06-28 11:15 評論0 收藏0
CNCF案例研究：京東

摘要：例如，京東的產品數據庫中有超過一萬億個圖像供客戶使用，每天增加億個圖像。京東目前處于的第二階段該平臺已經穩(wěn)定，可擴展且靈活，因此重點是如何更有效地運行以進一步降低成本。社區(qū)參與是京東的優(yōu)先事項。京東如何在超大規(guī)模的電子商務中率先采用Kubernetes showImg(https://segmentfault.com/img/bVbodkt?w=1674&h=830); 公司：京東地...

ygyooo 2019-07-01 17:04 評論0 收藏0
這大概是今年介紹云原生最清晰明了的文章!

摘要：在本次上，京東云將在大會上為對云原生感興趣的研發(fā)和運維人員帶來利用延遲加載快速啟動容器的話題分享。今天聊的主角云原生也是一樣。 showImg(https://segmentfault.com/img/bVbtNqp?w=688&h=113); showImg(https://segmentfault.com/img/bVbtQaR?w=684&h=327); showImg(http...

andycall 2019-07-01 17:41 評論0 收藏0
這大概是今年介紹云原生最清晰明了的文章!

摘要：在本次上，京東云將在大會上為對云原生感興趣的研發(fā)和運維人員帶來利用延遲加載快速啟動容器的話題分享。今天聊的主角云原生也是一樣。 showImg(https://segmentfault.com/img/bVbtNqp?w=688&h=113); showImg(https://segmentfault.com/img/bVbtQaR?w=684&h=327); showImg(http...

StonePanda 2019-06-28 11:24 評論0 收藏0