今回はAIのモデルの精度をどのように評価するかという話をします。
モデルの精度とは何か
私たちが日常よく耳にする”精度”という言葉は、ある測定や検査がどのくらいの正確さで実施されているかを表します。“AIのモデルの精度”という使い方であれば、AIのモデルがどのくらい性格に現実を予測できているか、といった意味になります。
精度を測る指標
一言で精度と言っても、精度の測り方にはいくつか種類があります。詳細は以下の記事を参照ください。今回は簡潔に説明します。
混合配列
精度を測る時に、以下の混合配列と呼ばれるマトリックスがよく使われます。
感度と特異度
感度と特異度について、上図を例に説明します。なお、下記の内、真陽性率と偽陽性率はROC曲線の計算に用います。
感度(真陽性率)
りんごの集合の中で、予測もりんごであった割合
特異度(真陰性率)
りんごではない集合の中で、予測もりんごではなかったの割合
全体の精度を測る4指標
上述の記事でも解説した4指標について簡単に復習します。
正解値(accuracy)
適合率(precision)
再現率(recall)
※感度と同じ計算方法
F値(F score)
適合率と再現率の使い分け
上述の適合率と再現率ですが、説明を読んだだけでは使い分けがよくわかりません。
わかりやすいのは再現率です。実は再現率は”検出率”や、ケースによっては”不良率”とも呼ばれています。検査が不良品の検査だった場合、再現率は”不良品を正しく不良品と判定できた割合”となります。通常不良品検査で何よりも大事なのは”不良品を漏れなく判定する”ということなので、再現率が重視される傾向になります。
適合率が有効ケースでよく例に上がるのは、マーケティング施策です。クーポンを渡す、キャンペーンを打つなど、マーケ施策の効果が高い顧客を予測する時、予測が外れると余計なコストが発生してしまいます。そのため、”無駄打ち”を防ぐために適合率の指標が重視される傾向にあります。
ROC曲線とAUC
上記で紹介した指標とは別に、ROC曲線及びAUCも精度を測る指標として用いられます。ROC曲線については今後詳細記事を掲載しますのでお待ちください。
コメント