非構造化データ

Excel等の表形式に整理されていないデータを指す。テキスト、画像、音声、動画などが典型例で、従来のリレーショナルデータベースでは扱いにくい特徴がある。構造化データと比較して前処理や特徴量抽出が必要となり、近年のAI技術の発展により活用が進んでいる。

主要な種類：
・テキストデータ（文書、SNS、レビュー）
・画像データ（写真、図表、医療画像）
・音声データ（通話記録、音楽）
・動画データ（監視カメラ、コンテンツ）
・センサーデータ（波形、信号）

処理の特徴：
・専用の前処理技術が必要
・大容量データの処理
・特徴量抽出の困難さ
・計算資源の大量消費・SNSテキスト分析
・医療画像診断
・音声認識システム
・動画コンテンツ分析
・文書分類・検索
・画像認識・分類
・顧客レビュー分析
・コールセンター音声分析
・衛星画像解析
・工場監視システム
・セキュリティ映像解析
・音楽推薦システム・OpenCV（画像処理）
・NLTK, spaCy（自然言語処理）
・TensorFlow, PyTorch
・Elasticsearch（全文検索）
・Apache Spark（大規模処理）
・AWS Rekognition
・Google Vision API
・Azure Cognitive Services
・Hugging Face Transformers・適切な前処理手法の選択
・計算資源の確保
・データ品質の確認
・プライバシー・倫理的配慮
・専門知識の必要性
・処理時間の長さを考慮
・ストレージ容量の計画
・API制限・コストの管理