摘要:摘要阿里云表格存儲于近期功能再升級,升級后的表格存儲支持對采集的數(shù)據(jù)進行持久化存儲,其新增支持,以及最新發(fā)布的能夠幫助用戶輕松構建千萬級和流系統(tǒng)。功能一支持對采集的數(shù)據(jù)進行持久化存儲阿里云表格存儲支持對采集的數(shù)據(jù)進行持久化存儲。
摘要: 阿里云表格存儲于近期功能再升級,升級后的表格存儲支持對DataHub采集的數(shù)據(jù)進行持久化存儲,其Python SDK新增支持Python 3.x,以及最新發(fā)布的TimelineLib能夠幫助用戶輕松構建千萬級IM和Feed流系統(tǒng)。
點此查看原文:http://click.aliyun.com/m/43196/
阿里云表格存儲于近期功能再升級,升級后的表格存儲支持對DataHub采集的數(shù)據(jù)進行持久化存儲,其Python SDK新增支持Python 3.x,以及最新發(fā)布的TimelineLib能夠幫助用戶輕松構建千萬級IM和Feed流系統(tǒng)。
功能一:支持對DataHub采集的數(shù)據(jù)進行持久化存儲
阿里云表格存儲支持對DataHub采集的數(shù)據(jù)進行持久化存儲。用戶可以通過DataHub服務對各種移動設備、應用軟件、網站服務、傳感器等產生的大量流式數(shù)據(jù)進行持續(xù)不斷的采集,并實時寫入到表格存儲中進行持久化存儲,基于表格存儲提供低成本、彈性與高性能的數(shù)據(jù)在線服務。
據(jù)了解,該新功能適合使用DataHub進行數(shù)據(jù)采集并對數(shù)據(jù)有持久化存儲與在線服務需求的用戶。
持久化存儲功能的實現(xiàn)依賴DataHub DataConnector功能將DataHub服務中的流式數(shù)據(jù)同步到其他云產品中,目前支持將Topic中的數(shù)據(jù)實時/準實時同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS Mysql、ADS、TableStore中。用戶只需要向DataHub中寫入一次數(shù)據(jù),并在DataHub服務中配置好同步功能,便可以在各個云產品中使用這份數(shù)據(jù)。數(shù)據(jù)同步支持at least once語義,在網絡服務異常等小概率場景下可能會導致目的端的數(shù)據(jù)產生重復。
前置條件
創(chuàng)建TableStore DataConnector主要需要如下前置條件:
· TableStore相關信息,包括TableStore服務的Endpoint、TableStore實例及其對應的Table;
· DataHub Topic的Owner/Creator賬號, 才有相應的權限操作DataConnector,包括創(chuàng)建,刪除等;
· TableStore表的主鍵列必須在DataHub Topic下有字段一一對應(定義順序可以不一致);
· 授權服務角色AliyunDataHubDefaultRole,使得DataHub可以訪問用戶的TableStore資源。
操作流程
進入Topic的詳情頁面:
選擇同步TableStore并填寫相關配置:
在DataConnector頁面查看數(shù)據(jù)歸檔狀態(tài):
配置說明
注意事項
· TableStore表的主鍵列必須在對應的DataHub Topic下存在同名的字段,由于DataHub大小寫不敏感,所以TableStore的主鍵名如果存在大寫字母,那么在DataHub Topic有對應小寫字段;
· 同步TableStore表的DataConnector任務僅支持TUPLE類型Topic;
· TableStore服務端自身的限制最大每次批量寫入的行數(shù)為200,具體TableStore的相關限制請參考https://help.aliyun.com/docum...。
功能二:表格存儲Python SDK支持Python 3.x
TableStore Python SDK 從現(xiàn)在開始可以支持Python 3了,Python的3.0版本,相對于Python的早期版本,這是一個較大的升級。為了不帶入過多的累贅,Python 3.0在設計的時候沒有考慮向下兼容,所以Python2和Python3有較大的不兼容。目前已經有大量的項目和系統(tǒng)開始使用Python 3,Python官方對于Python 2的支持也將在未來3年內放棄支持。
為了更好的滿足Python 3用戶的需求,TableStore的新版本SDK對Python3做了適配性,同一個版本可以支持Python2.6,Python2.7,Python3.3,Python3.4,Python3.5和Python3.6。用戶在安裝的時候,不管是通過setup.py還是pip方式,安裝腳本會自動根據(jù)當前使用的Python的版本選擇不同的安裝內容,保證安裝好的TableStore Python SDK可以完美適配Python版本。
該項新功能適用于使用表格存儲Python SDK的全網用戶。
功能三:TimelineLib
TableStore發(fā)布TimelineLib,現(xiàn)在用戶可以通過TimelineLib輕松構建千萬級IM和Feed流系統(tǒng)。 TimelineLib基于表格存儲,實現(xiàn)了Timeline概念模型,并將該模型轉換成為對存儲系統(tǒng)、同步系統(tǒng)的讀寫接口,并封裝了對底層存儲系統(tǒng)的交互邏輯。
用戶基于TimelineLib即可輕松實現(xiàn)一個基于表格存儲的IM或者Feed流系統(tǒng),并能夠充分的將表格存儲的高并發(fā)、低延時特性利用起來。此功能特別適合需要IM、Feed流系統(tǒng)的游戲、社交類客戶。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉載請注明本文地址:http://systransis.cn/yun/44580.html
摘要:本文整理了年月國產數(shù)據(jù)庫大事件和重要產品發(fā)布消息。柏睿數(shù)據(jù)庫加速安全卡面向全球重磅發(fā)布。月日,在全球數(shù)字經濟大會成果發(fā)布會上,中國移動北京分公司與國產數(shù)據(jù)庫領域新銳企業(yè)柏睿數(shù)據(jù)簽署戰(zhàn)略合作協(xié)議。本次大賽主要面向全國愛好數(shù)據(jù)庫的高校學生。 本文整理了2021年8月國產數(shù)據(jù)庫大事件和重要產品發(fā)布消息。目錄8月國產數(shù)據(jù)庫大事記TOP108月國產數(shù)據(jù)庫大事記時間線產品/版本發(fā)布兼容認證8月排行榜新增...
摘要:華為云華為云在云原生這場游戲中,最具競爭力的玩家之一。年,金山云在云原生領域推出了三款重磅產品星曜裸金屬服務器云服務器和云盤。在線上智博會上,浪潮云發(fā)布了經過全新迭代升級的浪潮云,進一步提升平臺云原生服務能力。面對數(shù)字時代復雜系統(tǒng)的不確定性,傳統(tǒng)的 IT 應用架構研發(fā)交付周期長、維護成本高、創(chuàng)新升級難,煙囪式架構,開放性差、組件復用度低,這些都成為了企業(yè)業(yè)務快速增長的瓶頸。而云原生以其敏捷、...
摘要:憑借多層次防護跨區(qū)域容災等能力,阿里云已經連續(xù)三年入選全球云存儲魔力象限,位列全球領導者地位這樣的殊榮,真的是不多見。通過持續(xù)不斷的努力,阿里云希望解決這些問題,讓更多的創(chuàng)新在我們身邊發(fā)生。 作者|康翔 編輯|阿冒? ?設計|沐由 在個人有限的技術領域和視野內,縮略語CDS的指向一直非...
閱讀 3527·2021-11-23 10:13
閱讀 895·2021-09-22 16:01
閱讀 935·2021-09-09 09:33
閱讀 670·2021-08-05 09:58
閱讀 1748·2019-08-30 11:14
閱讀 2025·2019-08-30 11:02
閱讀 3301·2019-08-29 16:28
閱讀 1515·2019-08-29 16:09