この記事のポイント
- NISTのAI RMF 1.0は2023年1月26日公表の任意の枠組みで、設計から評価まで信頼性の考慮を求める
- SP 800-207は「暗黙の信頼を与えない」ゼロトラストを定義し、セッション確立前の認証・認可を求める
- 個人情報を含む入力は利用目的の範囲内か、学習に使われないかを事前に確認する
目次
「答えるAI」から「操作するAI」へ、最初に決めるのは任せる範囲
AIエージェントは質問に答えるだけでなく、複数のシステムを参照し、申請、通知、データ更新まで連続して実行する。誤った判断がそのまま業務処理に波及するため、導入の出発点はモデル選びではなく、何を任せ、何を任せないかの明文化である。
対象業務は入力、判断、実行の三段階に分けて線引きする。検索や下書きなど取り消しやすい作業から始め、送金、契約、顧客情報の更新、社外送信といった影響の大きい処理には人の承認を必須とする。これが本記事の結論であり、以下の設計はすべてこの線引きを守るためのものである。
枠組みが求めるのは、権限を「ネットワークの内側」から切り離すこと
米国国立標準技術研究所(NIST)が2023年1月26日に公表したAIリスク管理枠組み(AI RMF 1.0)は任意の枠組みで、AI製品の設計、開発、利用、評価の各段階に信頼性の考慮を組み込むことを目的とする、とNISTは説明する。エージェントの権限設計も、この「利用段階まで含めて管理する」という発想に沿って考える必要がある。
権限の具体像は、NISTが2020年8月に公表したSP 800-207「Zero Trust Architecture」が示す。同文書は、物理的・ネットワーク上の場所だけを理由に資産や利用者へ暗黙の信頼を与えず、企業リソースへのセッションを確立する前に主体とデバイスの認証・認可を行う、と定義する。つまりエージェント専用IDにも、利用者本人の強い権限をそのまま引き継がせず、読み取り、作成、更新、削除を分けた最小権限だけを付与する設計が土台になる。

データ台帳と権限表を一体で作り、個人情報の入力条件を先に潰す
参照先ごとに、データの所有部門、更新責任者、機密区分、保存期間、利用目的を台帳に記録し、同じ表でエージェントの権限を管理する。情報が古い、責任者が不明、利用目的が曖昧なデータは、本番の参照対象から外す。期限付き権限や対象件数の上限を組み合わせれば、誤作動時の影響範囲を限定できる。
個人情報を扱う場合は入力前の確認が欠かせない。個人情報保護委員会は2023年6月2日の注意喚起で、個人情報を含む指示を入力する際は特定した利用目的の範囲内かを十分に確認すること、本人の同意なく入力した個人データが応答出力以外の目的で扱われる場合は法違反となる可能性があるため、提供事業者が機械学習に利用しないこと等を確認すること、を求めた。この2点は、台帳の確認欄としてそのまま組み込める。
承認は「最後に見る画面」ではなく、差し戻し条件で設計する
人を介在させる設計では、誰が何を見て承認するのかまで決める。根拠データ、変更前後の値、外部への送信先が確認画面に表示されなければ、承認は形式的なクリックになる。一定金額以上、機密情報を含む、判断の確信度が低い、といった条件で自動的に人へ戻す仕組みが要る。
逆にすべてを承認対象にすると作業が滞り、利用者が迂回手段を選ぶ。影響度と可逆性で処理を分類し、低リスクは自動化、高リスクは二重確認とする。判断基準は現場、情報システム、法務・セキュリティが共同で見直す。NISTが2024年7月に公表した生成AIプロファイル(NIST AI 600-1)は、生成AI特有または生成AIで悪化するリスクとして、もっともらしく誤った内容を自信ありげに生成する「confabulation(作話)」やデータプライバシー、情報セキュリティなどを挙げており、確信度が低く根拠が弱い出力ほど人へ戻す設計の裏付けになる。
本番前に、失敗時の止め方まで試す
テストでは成功例だけでなく、権限外の依頼、曖昧な指示、古いデータ、外部文書に埋め込まれた不正な指示も与える。何を参照し、どのツールを呼び、どこで処理を止めたかを追えるログが要るが、個人情報をログに残しすぎないよう、監査性とデータ最小化を両立させる。
運用開始後は、誤回答率に加え、承認で差し戻された割合、権限エラー、停止回数を記録する。即時停止の担当者と復旧手順を決め、小さな対象範囲から段階的に広げる。次に確認すべき具体的な節目は、自社の権限表と台帳がそろった時点で行う本番前の停止訓練であり、そこで止められなければ対象業務を広げないことが判断基準になる。
出典・参考資料
- AI Risk Management Framework — 米国国立標準技術研究所(NIST)
- Zero Trust Architecture(SP 800-207) — 米国国立標準技術研究所(NIST)
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile(NIST AI 600-1) — 米国国立標準技術研究所(NIST)


