CDC(変更データキャプチャ)
公開日:2025/05/30

データベースで発生した変更(挿入・更新・削除)を効率的に検出・伝達し、リアルタイムに近いデータ同期を低負荷で実現する技術。データレイクやDWH更新の重要な技術基盤。
実装方式:
・ログベースCDC:トランザクションログ監視
・トリガーベースCDC:データベーストリガー活用
・タイムスタンプベースCDC:更新時刻による差分抽出
・スナップショット差分:定期的な全件比較
基本原理:
・変更のみ抽出(差分処理)
・リアルタイム性の実現
・ソースシステムへの低負荷
・データ整合性の保持・ECサイトの在庫データリアルタイム同期
・金融システムの取引データ連携
・顧客データの分析基盤への即座反映
・マイクロサービス間のデータ整合性確保
・レガシーシステムのモダナイゼーション
・データウェアハウスのリアルタイム更新
・イベントドリブンアーキテクチャの実現
・監査ログの追跡
・レプリケーション(本番→分析DB)・Debezium(オープンソース)
・AWS DMS
・Confluent Platform
・Oracle GoldenGate
・Apache Kafka
・Fivetran, Stitch
・StreamSets
・HVR
・Qlik Replicate・ソースシステムへの影響最小化
・データ整合性の厳格な管理
・障害時の復旧手順明確化
・スキーマ変更への対応策準備
・適切な監視・アラート設定
・セキュリティ・権限管理の徹底
・運用管理負荷の考慮
・初期構築コストの計画