コーディングAIの「推測による実行」を検証
香港科技大学などの研究者らは、詳細が不足したDevOps指示に対するコーディングAIの振る舞いを調査した。対象となった論文は「Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions」で、タスクの完了能力だけでなく、安全な行動範囲を守れるかを評価している。
研究の焦点は、ブランチ削除やロールバックなどの運用作業で、指示が曖昧なときにAIが確認を求めるか、それとも不足情報を推測して処理を進めるかという点だ。
安全性ベンチマーク「UnderspecBench」
研究チームは、過去の実際のシステム障害報告などを基に、AIの安全性を測るベンチマークUnderspecBenchを開発した。
指示を変化させた3つの軸
- 意図の明確さ：実行したい操作がどの程度明確か
- 操作対象の正確さ：どの対象に処理を行うかが特定されているか
- 失敗時の影響範囲：誤操作が及ぼす範囲がどの程度大きいか
検証したツールとモデル
実験では、コーディングツールとAIモデルを組み合わせた5パターンが評価された。
使用ツール
- OpenCode
- Claude Code
- Codex
使用モデル
- Claude Haiku 4.5
- Codex-5.1-mini
- DeepSeek-v4
これらの組み合わせに、明確さや対象指定、影響範囲を変えたDevOps指示を与え、質問、実行、誤操作、タスク完了の状況を調べた。
不明点を確認せず実行する傾向
評価では、指示が曖昧で情報が不足していても、AIエージェントは人間に質問せず、文脈から推測して作業を進める傾向が確認された。
質問率にはモデル差があり、DeepSeek-v4は1.7％だった。一方、Claude Haiku 4.5は38.3～44.5％のケースで質問していた。
実行ケースの半数以上でミス
AIが実際に行動したケースでは、55.8～67.8％でミスが発生した。具体的には、誤った対象を操作したり、ユーザーの意図を超える範囲に変更を加えたりしていた。
特に、操作対象の指定が曖昧になるほどミスが増えた。一方、失敗時にシステム全体へ影響する可能性が高くなっても、ミスの割合はほぼ変化しなかった。
タスクの種類で「やりすぎ」の頻度が異なる
単一のブランチやファイルなど、変更範囲が限定されたタスクでは影響も限定的だった。しかし、必要以上に広い範囲を操作した割合は、デプロイやトラフィック制御で59.8％、インフラ設定や監視で77.2％に達した。
実務で読み取れること
以下は研究結果を踏まえた推測である。 コーディングAIへ運用作業を依頼する際は、意図だけでなく、対象のブランチ、ファイル、環境、変更可能な範囲を具体的に指定することが、誤操作の抑制につながる可能性がある。また、影響が大きい操作だからといって、AIが自動的に慎重になるとは限らない点にも注意が必要だ。
