可視化數(shù)據(jù)開發(fā)平臺
需求痛點
數(shù)據(jù)接入
? 離線、準實時，一個平臺無法覆蓋；
? 接入的源始系統(tǒng)數(shù)據(jù)庫、接口類型多，部分無法支持需要自開發(fā)；
? 接入效率慢：數(shù)據(jù)表格數(shù)量多、沒有模板、批量采集、非分布式；
流程管控
? 缺乏數(shù)據(jù)模型設(shè)計、管理平臺；
? 市場數(shù)據(jù)模型設(shè)計工具對接開源Hadoop、常用數(shù)據(jù)庫較好；
? 數(shù)據(jù)模型設(shè)計不能自動轉(zhuǎn)換ETL任務(wù)，數(shù)據(jù)轉(zhuǎn)換規(guī)則類型少；
? 數(shù)據(jù)整合需要代碼開發(fā)，難度高；
任務(wù)調(diào)度
? 缺乏可視化任務(wù)編排和調(diào)度；
? 支持的任務(wù)類型不夠豐富；
? 任務(wù)并發(fā)數(shù)量受限；
? 任務(wù)數(shù)量過多導(dǎo)致流程設(shè)計圖混亂、關(guān)系難以理清；
SQL開發(fā)
? 缺乏SQL自動化審核流程，導(dǎo)致不規(guī)范SQL影響系統(tǒng)運行；
? 無法可視化分析SQL血緣，不便于追溯問題；
? 無法對SQL進行良好的版本管理，導(dǎo)致文件管理困難；
? 不支持SQL的智能提示，影響開發(fā)效率；
TDS可視化數(shù)據(jù)開發(fā)平臺
◆ 產(chǎn)品能力：提供多樣化數(shù)據(jù)相關(guān)工具，支撐全流程的可視化數(shù)據(jù)開發(fā)、監(jiān)控、運維與告警
◆ 產(chǎn)品目標(biāo)：實現(xiàn)數(shù)據(jù)統(tǒng)一化、可視化，構(gòu)建企業(yè)級數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市
◆ 核心功能：數(shù)據(jù)接入、數(shù)據(jù)整合、數(shù)據(jù)服務(wù)
◆ 技術(shù)設(shè)計：ELT （Extract – Load – Transform）
◆ 基于圖形化步驟的抽取和加載以提高效率
◆ 基于SQL的Transform更加靈活高效的利用大數(shù)據(jù)平臺的能力
產(chǎn)品名稱
Waterdrop
TDH數(shù)據(jù)平臺開發(fā)桌面端IDE
ArgoDB、KunDB的數(shù)據(jù)庫開發(fā)IDE
SQLBook
SQL開發(fā)與執(zhí)行
SQL審核與協(xié)同，靜態(tài)SQL血緣分析
SQL開發(fā)的DevOps管控
Workflow
可視化設(shè)計，任務(wù)與任務(wù)流配置
分布式數(shù)據(jù)任務(wù)調(diào)度
協(xié)同開發(fā)與圖形化運維
Transporter
支持的整合數(shù)據(jù)源與目標(biāo)
離線加載、實時同步、數(shù)據(jù)轉(zhuǎn)換
協(xié)同開發(fā)與圖形化運維