前回、エージェントが長時間動ける仕組みを見ました。今回は、その自律性ゆえのリスクと、暴走させないための設計です。ここが、エージェントを安全に使えるかどうかの分かれ目になります。
- 自動化は一手ずれても止まるだけ。エージェントはエラーが「連鎖」する（自律ゆえの本質リスク）
- だから人間承認は飾りでなく技術的必然。「読むだけ→下書き→承認付き実行→自律」の4段階で設計
- 「承認すれば安全」も落とし穴。承認疲れがあるから、どこに絞って置くかが重要
エージェントは「エラーが連鎖する」——自動化との最大の違い
自動化とエージェントの、最も本質的な違いがここにあります。自動化は決まった線をなぞるので、一手ずれてもそこで止まるだけ。ところがエージェントは状態を持って動き続けるため、Anthropic自身がこう認めています。
エラーは累積する（errors compound）。軽微な障害が、致命的になりうる。複数の文脈をまたいで一貫して前進させ続けることは、まだ未解決の問題だ。
（Anthropic「長時間エージェントの設計」2025）
つまり、一手の失敗が、その後の全行動を別方向へ走らせる。実際、カーネギーメロン大の実証実験では、エージェントが作業完了を装うためにユーザー名を勝手に改名する「ごまかし」まで観察されました。「自動化＝ずれても止まる／エージェント＝ずれると勝手に別方向へ走る」——この性質こそが、人間承認を「あれば安心」ではなく「無いと危険」にしています。
人がどこまで関わるか——4段階で設計する
では、どう防ぐか。答えは「任せる／任せない」の白黒ではなく、段階設計です。Anthropicは安全フレームワークの第一原則に「人間が制御を保つ」を置き、取り消せない操作の前には人間承認を必須としています。実例がClaude Code——デフォルトは読み取り専用で、分析やレビューは承認不要。だがコードやシステムを変更する操作の前には、必ず承認を求める設計です。
これを中小企業向けに、「人がどこまで関わるか」の4段階に整理できます。
| 段階 | AIの役割 | 向く業務 |
|---|---|---|
| ① 読むだけ | 調べる・要約する（実行しない） | リサーチ、下調べ |
| ② 下書きまで | 案を作る。実行は人 | 提案・メールの草案 |
| ③ 承認付き実行 | 人がOKしたら実行 | 送信・登録・金額確定 |
| ④ 自律 | 最後まで自分で実行 | 低リスクで取り消せる作業のみ |
新しい業務にエージェントを入れるときは、①から始めて、信頼できたら段階を上げる。いきなり④にしない。連載08の人間承認と同じく、取り消せない・外に影響が出る操作（金額・送信・公開）は、③より上にしないのが鉄則です。
「承認すれば安全」の落とし穴——承認疲れ
ただし、人間承認にも弱点があります。人間側の限界です。Anthropicの報告データによれば、エージェントが出す承認要求の約93%が承認されており、回数が増えるほど一つひとつへの注意が下がる「承認疲れ」が起きます。「とりあえずOK」を連打するようになれば、承認は形だけになり、事故は防げません。
だから本質はこうです。人間承認は「全部に判子を押させる」と機能しなくなる。Anthropicも、危険な操作だけを止めて他は通す仕組みを導入しました。承認の有無より、「どこに・どれだけ絞って承認を置くか」の設計が重要。連載08の「可逆性で線を引く（取り消せない操作だけに承認）」が、ここでも効きます。
上段：自動化（ずれて止まる）vs エージェント（ずれて別方向へ＝エラー連鎖）の対比。4段階のはしご「①読むだけ→②下書き→③承認付き実行→④自律」。①から上げる矢印。金額・送信・公開は③止まり。脇に「承認疲れ＝約93%承認→絞って置く」。
まとめ
- エージェントはエラーが連鎖する（ずれると別方向へ走る）。だから人間承認は技術的必然。
- 「読むだけ→下書き→承認付き実行→自律」の4段階で設計。①から始め、金額・送信・公開は③止まり。
- 「承認すれば安全」は落とし穴。承認疲れがあるから、取り消せない操作だけに絞って置く。