低品質データ

欠損値、重複、誤入力、外れ値、不整合などの問題を含み、そのまま分析に使用すると結果の信頼性を著しく損なうデータ。機械学習プロジェクトの成功には高品質データの確保が不可欠。

主要な品質問題：
・欠損値（NULL、空文字、N/A）
・重複データ
・誤入力・文字化け
・統計的外れ値
・参照整合性違反
・古い情報・更新遅延

品質評価指標：
・完全性・正確性
・一貫性・適時性
・有効性・一意性

データクリーニング手法：
・欠損値処理
・重複除去
・外れ値処理
・標準化・正規化・顧客データベースのクレンジング
・センサーデータの異常値除去
・アンケート回答の品質向上
・財務データの整合性確保
・製品マスタの標準化
・Webログデータの前処理
・医療データの品質管理
・IoTデータの異常検知
・マーケティングデータの統合
・在庫データの精度向上・pandas（Python）
・OpenRefine
・Trifacta Wrangler
・Great Expectations
・dbt（データ品質テスト）
・Apache Griffin
・Talend Data Quality
・Alteryx
・DataRobot
・Apache Spark・データ入力時の検証強化
・自動品質チェック実装
・定期的な品質監査
・データスチュワード配置
・品質メトリクス継続監視
・組織的対応体制の確立
・品質向上の責任者明確化
・教育・トレーニングの実施