華爲雲數據遷移（Cloud Data Migration，簡稱CDM）是一(yī)種高效、易用的批量數據遷移服務，提供同構/異構數據源之間批量數據遷移服務，幫助客戶實現數據自由流動。支持客戶自建和公有雲上的文件系統、關系數據庫、數據倉庫、大(dà)數據雲服務、對象存儲等數據源。
在數據治理中(zhōng)心（DataArts Studio）服務中(zhōng)，CDM作爲其中(zhōng)的“數據集成”組件使用，産品能力與獨立的CDM服務保持一(yī)緻。CDM服務基于分(fēn)布式計算框架，利用并行化處理技術，支持用戶穩定高效地對海量數據進行移動，實現不停服數據遷移，快速構建所需的數據架構。
産品功能
1.表/文件/整庫遷移
支持批量遷移表或者文件，支持同構/異構數據庫之間的整庫遷移，一(yī)個作業即可遷移幾百張。
2.增量數據遷移
支持文件增量遷移、關系型數據庫增量遷移、HBase/CloudTable增量遷移，以及使用Where條件配合時間變量函數實現增量數據遷移。
3.事務模式遷移
支持當CDM作業執行失敗時，将數據回滾到作業開(kāi)始之前的狀态，自動清理目的表中(zhōng)的數據。
4.字段轉化
支持去(qù)隐私、字符串操作、日期操作等常用字段的數據轉換功能。
5.文件加密
在遷移文件到文件系統時，CDM支持對寫入雲端的文件進行加密。
6.MD5校檢一(yī)緻性
支持使用MD5校驗，檢查端到端文件的一(yī)緻性，并輸出校驗結果。
7.髒數據歸檔
支持将遷移過程中(zhōng)處理失敗的、被清洗過濾掉的、不符合字段轉換或者不符合清洗規則的數據單獨歸檔到髒數據日志(zhì)中(zhōng)，便于用戶查看。并支持設置髒數據比例阈值，來決定任務是否成功。
8.正則表達式分(fēn)隔半結構化文本
支持在創建表/文件遷移作業時，對簡單CSV格式的文件，可以使用字段分(fēn)隔符進行字段分(fēn)隔。
産品優勢
1.支持多種數據源批量入湖
滿足近20種常用數據源，滿足數據在雲上和雲下(xià)的不同遷移場景。
2.遷移效率高
基于分(fēn)布式計算框架進行數據任務執行和數據傳輸優化，并針對特定數據源寫入做了專項優化，遷移效率高。
3.簡單易用
免編程，向導式任務開(kāi)發界面，通過簡單配置幾分(fēn)鍾即可完成遷移任務開(kāi)發。
4.成本低
按需付費(fèi)，根據使用資(zī)源量進行計費(fèi)，無須自建專用軟硬件。
5.實時監控
通過雲監控服務實時監控CDM集群的各項性能指标。
應用場景
1.大(dà)數據遷移上雲
大(dà)數據遷移上雲向導式任務管理，即開(kāi)即用，輕松上手。
.png)
大(dà)數據遷移上雲
2.數據批量入湖
數據批量入湖，支持用戶本地數據全量和T+1增量入湖。支持關系型數據庫、大(dà)數據、文件、NoSQL多種數據源。能夠通過遷移作業的where條件配合調度系統實現增量同步，基于數據源特點采取并發拆分(fēn)增強遷移性能。
數據批量入湖