Serving精品文章

• 

  tensorflow-serving

  TensorFlow Serving是一個開源的高性能機器學習模型部署框架，可用于將訓練好的模型部署到生產(chǎn)環(huán)境中進行預測。TensorFlow Serving具有許多有用的功能，如模型版本控制、模型熱更新、模型的灰度發(fā)布和模型可擴展性等，這些功能使...

  XiNGRZ 2023-04-25 20:22 評論0 收藏2691
• 

  TensorFlow在產(chǎn)品環(huán)境中運行模型的實踐經(jīng)驗總結

  ...容支持其他TensorFlow模型，以支持未來的數(shù)據(jù)產(chǎn)品TensorFlow Serving ?經(jīng)過網(wǎng)上的調研之后，Google的TensorFlow Serving成為我們推薦的模型服務。TensorFlow Serving用C++編寫，支持機器學習模型服務。開箱即用的TensorFlow Serving安裝支持：TensorFl...

  stackfing 2019-04-25 18:10 評論0 收藏0
• 

  TensorFlow Serving入門

  ...服務。在2017年的TensorFlow開發(fā)者Summit上便提出了TensorFlow Serving。 但那時候客戶端和服務端的通信只支持gRPC。在實際的生產(chǎn)環(huán)境中比較廣泛使用的C/S通信手段是基于RESTfull API的，幸運的是從TF1.8以后，TF Serving也正式支持RESTfull AP...

  Harpsichord1207 2019-06-18 11:17 評論0 收藏0
• 

  使用Kubernetes和TensorFlow Serving將神經(jīng)網(wǎng)絡鏡像分類進行彈性擴容

  ...模。學習更多關于TensorFlow，請看下文補充： 用TensorFlow Serving和Kubernetes給Inception模型提供服務 這個tutorial展示了如何使用TensorFlow Serving組件在容器里面的運用，以此來服務TensorFlow模型，還展示了如何用Kubernetes配置服務中的集群...

  Harpsichord1207 2019-07-01 16:20 評論0 收藏0
• 

  使用 TensorFlow Serving 和 Docker 快速部署機器學習服務

  ...重現(xiàn)，隔離和安全。這里，我們使用基于Docker的TensorFlow Serving來簡單地完成這個過程。TensorFlow 從1.8版本開始支持Docker部署，包括CPU和GPU，非常方便。 獲得訓練好的模型 獲取模型的第一步當然是訓練一個模型，但是這不是本篇...

  endless_road 2019-06-28 17:05 評論0 收藏0
• 

  flask源碼走讀

  ...ketserver上啟動了服務開始監(jiān)聽端口: flask.Flask.run -> werkzeug.serving.run_simple -> werkzeug.serving.run_simple.inner ->werkzeug.serving.make_server -> BaseWSGIServer->HTTPServer.__init__(self, get_sockaddr(h...

  Coly 2019-07-31 10:16 評論0 收藏0
• 

  【TensorFlow開源2年官方回顧】下一個重要方向是分布式模型服務

  自從2016年2月 TensorFlow Serving 開源以來，我們做了一些重大改進。現(xiàn)在，讓我們再回到這個項目開始的地方，回顧我們的進展過程，并分享我們下一步的方向。在 TensorFlow Serving 啟動之前，谷歌公司內的 TensorFlow 用戶也必須從頭...

  morgan 2019-04-25 18:20 評論0 收藏0
• 

  滴滴機器學習平臺架構演進

  ...，平臺結合自己的場景特點開發(fā)了 DDL（DiDi Deep Learning） Serving 服務框架、IFX 框架和 Autotuning 優(yōu)化庫，極大加速了模型上線部署和優(yōu)化過程。 針對模型服務部署和優(yōu)化，平臺結合自己的場景特點開發(fā)了 DDL（DiDi Deep Learning） Serving...

  entner 2019-06-26 18:58 評論0 收藏0