AUC(Area Under the Curve)

公開日:2025/05/30

AUC(Area Under the Curve)

ROC曲線の下の面積でモデルの識別能力を表す評価指標。0.5はランダム予測と同等を意味し、1に近いほど高性能なモデルを示す。閾値に依存しない総合的な性能評価が可能で、二値分類問題でのモデル比較に広く使用されている。

ROC曲線:
・横軸:偽陽性率(FPR)
・縦軸:真陽性率(TPR、感度)
・閾値を変化させた際の性能変化

AUC値の解釈:
・0.9-1.0:優秀
・0.8-0.9:良好
・0.7-0.8:普通
・0.6-0.7:劣る
・0.5-0.6:非常に劣る

利点:
・閾値に依存しない評価
・クラス分布の影響を受けにくい
・直感的な解釈・信用リスク評価モデル
・医療診断支援システム
・マーケティング効果予測
・不正検知システム
・推薦システムの精度評価
・スパム検知
・画像分類システム
・音声認識システム
・異常検知システム
・品質管理システム
・セキュリティシステム
・バイオインフォマティクス・scikit-learn roc_auc_score
・roc_curve
・matplotlib/seaborn可視化
・SHAP(説明可能AI)
・LIME(局所的説明)
・MLflow(実験管理)
・Weights & Biases
・TensorBoard
・plotly(インタラクティブ可視化)・クラス不均衡データでの制限
・PR-AUCとの併用検討
・閾値選択の実務的考慮
・ビジネス要件との整合性確認
・統計的有意性の検証
・多クラス分類での拡張
・コスト考慮の評価指標追加
・継続的な性能監視