この記事のポイント

  • 選定は製品の機能表ではなく、利用者・入力情報・完了させる作業を固定した業務シナリオから始める
  • NIST AI 600-1(2024年7月)はデータプライバシーや知的財産など生成AI特有のリスクを挙げ、契約確認の観点を与える
  • 導入条件と同時に、品質低下や契約変更を想定した停止条件と移行可能性を合意する
目次
  1. 最初に製品を比べず、業務場面を固定する
  2. データの扱いは、設定画面と契約の両方で確認する
  3. 同じ評価セットで、品質と使い勝手を比べる
  4. 導入前に、乗り換えと停止の条件を決める
01

最初に製品を比べず、業務場面を固定する

多機能なAIツールが自社に最適とは限らない。まず利用者、入力情報、完了させたい作業、誤りが起きた場合の影響を一つのシナリオにまとめる。「議事録を作る」ではなく、「顧客会議の録音から社内向けの決定事項を作り、担当者が確認して共有する」まで具体化する。

シナリオごとに、必須機能、あるとよい機能、禁止事項を分ける。要約精度だけでなく、権限管理、出典表示、監査ログ、既存システムとの連携が必要かも確認する。要件を先に置けば、販売資料の目立つ機能に選定が引っ張られにくい。

02

データの扱いは、設定画面と契約の両方で確認する

入力内容や添付ファイルが学習に利用されるか、どこに保存されるか、委託先は誰か、削除依頼へどう対応するかを確認する。無料版と法人版で条件が異なる場合もある。管理者が一括設定できるか、利用者が個別に変更できるかも重要だ。

確認の観点は公的文書からも得られる。NISTが2024年7月に公表した生成AIプロファイル(NIST AI 600-1)は、生成AI特有または生成AIで悪化するリスクとして、データプライバシー、情報セキュリティ、知的財産などを挙げる。また個人情報保護委員会は2023年6月2日の注意喚起で、個人情報を含む入力は利用目的の範囲内か、提供事業者が機械学習に利用しないこと等を確認するよう求めた。扱えない情報は利用者へ明示する。

03

同じ評価セットで、品質と使い勝手を比べる

候補製品には同じ入力と正解条件を与え、正確性、根拠、修正のしやすさ、応答時間を比較する。成功例だけでなく、情報不足や禁止情報を含む例も試す。熟練者だけでなく、実際の利用者が迷わず使えるかも観察する。

物差し全体の置き方には、NISTが2023年1月26日に公表したAI RMF 1.0が参照できる。同枠組みは任意の枠組みで、AI製品・サービスの設計、開発、利用、評価に信頼性の考慮を組み込むことを目的とする。モデル性能は更新で変わるため一度の順位を絶対視せず、結果を再現できる評価手順と、変更時に再確認する条件を残す。人が確認する時間や教育負担も総コストに含める。

04

導入前に、乗り換えと停止の条件を決める

API利用料、追加ストレージ、監査機能、サポート、連携開発を含め、利用量が増えた場合の費用を試算する。データやプロンプト、評価記録を取り出せるかも確認する。特定製品に依存する機能を使う場合は、その便益と移行コストを明示する。

選定会議では、導入条件と同時に停止条件を合意する。品質低下、重大な契約変更、予算超過が起きたときに誰が利用を止めるかを決める。具体的な節目は契約更新日であり、その前に評価セットでの再測定と契約条件の再確認を済ませ、継続か乗り換えかを決める運用にする。

出典・参考資料