產(chǎn)品簡介
產(chǎn)品詳情
總體架構(gòu)
核心功能
- 詳情介紹
- 批量數(shù)據(jù)采集
- 實時數(shù)據(jù)采集
- 數(shù)據(jù)加工廠
- 任務(wù)調(diào)度
- 數(shù)據(jù)資產(chǎn)管理
-
- 商品名稱: 數(shù)據(jù)集成處理系統(tǒng)
- 商品編號: a02
數(shù)據(jù)集成處理系統(tǒng)可對數(shù)據(jù)資源進(jìn)行信息采集、維護(hù)、查詢、分析、運(yùn)行監(jiān)控等管理。具體功能主要有數(shù)據(jù)源管理、數(shù)據(jù)采集配置、實時數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換配置、數(shù)據(jù)導(dǎo)出配置、數(shù)據(jù)資源編目、數(shù)據(jù)倉庫管理、任務(wù)調(diào)度、數(shù)據(jù)接口管理和系統(tǒng)監(jiān)控。
總體架構(gòu)
-
批量數(shù)據(jù)采集是數(shù)據(jù)集成處理系統(tǒng)獲取數(shù)據(jù)的主要通道。通過配置將各自分離的業(yè)務(wù)平臺數(shù)據(jù)采集到大數(shù)據(jù)資源平臺如Hbase、Hdfs、Hive及Mysql等數(shù)據(jù)儲存系統(tǒng)，為后續(xù)的資源分析、數(shù)據(jù)挖掘提供數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)采集配置有數(shù)據(jù)庫采集、接口數(shù)據(jù)采集、文件數(shù)據(jù)采集和本地文件上傳等功能。配置包括新增、查看、修改、刪除、測試、數(shù)據(jù)內(nèi)容查看、添加任務(wù)調(diào)度及查看日志等一系列操作。
-
實時數(shù)據(jù)采集是針對流式數(shù)據(jù)采集的功能。配置包括新增、查看、修改、刪除、發(fā)布任務(wù)及數(shù)據(jù)采樣等一系列操作。流式數(shù)據(jù)包括Socket接口、日志數(shù)據(jù)流、視頻數(shù)據(jù)流等各類流數(shù)據(jù)。該功能針對不同類型的流數(shù)據(jù)采集到相應(yīng)業(yè)務(wù)平臺上來，為后續(xù)的資源分析、數(shù)據(jù)挖掘提供數(shù)據(jù)基礎(chǔ)。
-
數(shù)據(jù)加工廠主要是對數(shù)據(jù)進(jìn)行清洗、整理、轉(zhuǎn)化等腳本轉(zhuǎn)換操作提取價值數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，為上層業(yè)務(wù)提供數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)轉(zhuǎn)換配置包括任務(wù)添加、查看、修改、刪除、添加調(diào)度任務(wù)等基本操作，并結(jié)合任務(wù)隊列實現(xiàn)各個數(shù)據(jù)轉(zhuǎn)換之間的復(fù)雜邏輯關(guān)系。
-
任務(wù)調(diào)度功能為數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)導(dǎo)出等功能提供定時的任務(wù)的調(diào)度，為大數(shù)據(jù)資源平臺提供自動化的數(shù)據(jù)處理機(jī)制。其功能包括任務(wù)手動執(zhí)行、任務(wù)配置、任務(wù)啟動、任務(wù)暫定及任務(wù)刪除。任務(wù)調(diào)度整合Quartz和分布式調(diào)度框架，定時任務(wù)精確到秒級別。同時提供動態(tài)部署、任務(wù)調(diào)度輪詢機(jī)制、任務(wù)錯誤反饋機(jī)制為任務(wù)精準(zhǔn)地執(zhí)行提供保障，也方便運(yùn)維人員定位和排查問題。
-
數(shù)據(jù)資產(chǎn)管理是保障數(shù)據(jù)接口開放及安全管控的功能。該功能包含接口注冊、白名單、黑名單、訪問申請審核和訪問申請日志。數(shù)據(jù)提供方通過注冊接口，將自己的數(shù)據(jù)以webService接口方式對外開放。用戶想要訪問接口數(shù)據(jù)必須先申請訪問，待申請通過后系統(tǒng)添加用戶到白名單，用戶即可訪問接口數(shù)據(jù)。
暫無數(shù)據(jù)
聯(lián)系我們
地址：浙江省杭州市濱江區(qū)濱安路1186-1號
華僑國際先鋒大廈17F
官網(wǎng)二維碼
