この記事のポイント

  • 効果は導入前の処理時間、差し戻し、誤りなどを条件とともに記録した基準線がなければ説明できない
  • 評価は業務成果、出力品質、利用定着、総コスト、リスクの5区分に分け、一つのKPIで結論を出さない
  • 生成AIの品質は根拠性(groundedness)や完全性など複数の指標を組み合わせて測る
目次
  1. 成果を問う前に、導入前の状態を測る
  2. 一つのKPIで結論を出さない
  3. AI固有の品質とリスクを継続して見る
  4. 測定結果を、次の投資判断へ戻す
01

成果を問う前に、導入前の状態を測る

AI導入後に「時間が短くなった」と感じても、導入前の記録がなければ効果を説明できない。処理時間、待ち時間、差し戻し、誤り、問い合わせ件数を、繁忙期などの条件とともに測る。平均値だけでなく、ばらつきや例外処理に要した時間も残す。

目標は利用回数ではなく業務成果につなげる。利用者数が増えても、確認作業が増え、顧客への回答が遅くなれば成功とは言いにくい。対象業務の責任者と、どの変化を価値とみなすかを先に合意することが、測定設計の最初の作業である。

02

一つのKPIで結論を出さない

評価は、業務成果、出力品質、利用定着、総コスト、リスクの5つに分けると偏りを減らせる。処理時間が減っても誤りや差し戻しが増えれば品質面の課題が残る。利用率が低い場合も、教育不足なのか、対象業務に価値がないのかを切り分ける必要がある。

この分け方は、NISTが2023年1月26日に公表したAI RMF 1.0の考え方とも整合する。同枠組みは任意の枠組みとして、AIの設計、開発、利用、評価の各段階に信頼性の考慮を組み込むことを目的としており、効率だけを測る評価はその「評価」段階の半分しか見ていないことになる。定量指標に加え、利用者への短いインタビューで、確認への負担や判断のしやすさなど数字に出ない変化も拾う。

03

AI固有の品質とリスクを継続して見る

代表的な入力を評価セットにし、正確性、根拠との整合、不適切な内容、答えるべきでない質問への反応を定期的に確認する。モデルや参照データを更新すると、以前できた処理が悪化することもあるため、変更前後を同じ条件で比較する仕組みが要る。

指標の具体例として、MicrosoftのRAG評価ガイドは、回答が文脈に完全に基づくかを測るgroundedness(根拠性)、質問の全部分に答えているかを測るcompleteness(完全性)などを分けて使うことを示す。これは検索を使う用途向けの指標だが、生成AIの品質を一つの点数に潰さないという考え方は他の用途にも当てはまる。リスク側では、NISTが2024年7月に公表した生成AIプロファイル(AI 600-1)が挙げる作話やデータプライバシーのリスクを、機密情報の誤入力、権限外データへのアクセス、重大な誤回答といった自社の記録項目へ落とし込む。

04

測定結果を、次の投資判断へ戻す

評価期間と判定日を決め、改善、対象拡大、縮小、停止の条件をあらかじめ置く。成果が出ない場合は、モデル変更だけでなく、業務手順やデータ、対象範囲に原因がないかを確認する。AIを使い続けること自体を目標にしない。

経営層には削減時間だけでなく、品質、リスク、追加運用費を含めて報告する。現場には、フィードバックによって何が変わったかを返す。具体的な節目はあらかじめ定めた判定日であり、その日に5区分の測定結果を持ち寄り、拡大か停止かを決める。判定日を過ぎても測定がそろわない用途は、拡大の対象から外す。

出典・参考資料