意図の仕様化
意図の仕様化を、制約と完了条件の明示・問題のフレーミングの観点で評価します。
候補者が実装・修正・設計判断を依頼しており、AI の推測を制約や完了条件で狭める機会がある。
課題・機能への着手指示があるセッション。
環境構築
環境構築を、コンテキスト整備・ガードレール設定・ツール整備の観点で評価します。
エージェントの操作が、破壊的変更、外部副作用、広範囲編集、権限/認証、データ操作、セキュリティ、課金、公開操作に影響しうる。
コードベースや課題文脈が非自明で、候補者が関連する実装所在・規約・既存判断・ファイル関係を選び直して エージェントに渡すことが、探索効率や正確性に影響する状況。
エージェントが作業を進めるために、MCP・外部 CLI・API credential・sandbox・local service・環境変数・認証/権限・不足 dependency などの追加設定が必要で、候補者がそれを判断/準備できる状況。
共同推論
共同推論を、提案の評価と採択・代替案の引き出しの観点で評価します。
複数の実現方針がありうる設計判断が課題に存在する場合。
AI の応答が方針提案・代替案を含む、または帰結の大きい設計判断が AI の出力の中で実質的に行われている場合。
実行の統制
実行の統制を、修正の収束・委譲の調整・実行中の軌道修正の観点で評価します。
候補者が複数ステップ、設計判断を含む作業、または失敗時の影響が大きい作業を エージェントに委譲している。
エージェントが確認質問をした、方針選択を求めた、誤った方向に進みかけた、長時間自走でズレるリスクが出た、または失敗前に方針転換できる明確な機会が trace 上にある。
エラー・不具合への修正往復が発生している場合。
出力の品質保証
出力の品質保証を、批判的評価・品質向上・検証の設計の観点で評価します。
テスト・型チェック・実行確認・E2E・ログ確認など、成果物を検証できる手段が課題に存在する。
AI が実装を生成し、かつ誤り・要件とのズレ・品質問題が trace 上に存在する場合。
AI が動作する実装を生成し、構造・抽象・保守性に改善余地がある場合。