Tool-selection Failure
ツール選択失敗
課題に必要な適切なツールや行動を選べず、誤ったもの、不要なもの、または不十分なものを選ぶ失敗です。
ARC-V1-035
例
最新の在庫を確認する必要があるのに、検索ではなく古いメモだけを参照する手段を選んだ。
区別・注意
何を使うかの選択に失敗するのがTool-selection Failureです。選んだツールに不正な引数を渡す、呼び出し方を誤る、返り値を読み違えるといった問題はTool-use Failureに当たります。複数の行動の順序や依存関係を組めない問題はPlanning Failureです。
Evidence
Evidenceを見る →
API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
SRC-F05-003
- タイトル
- API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
- 著者・組織
- Li et al.
- 年
- 2023
- 種別
- Peer-reviewed / EMNLP 2023
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Planning, Tool-selection, Tool-use
- 範囲
- 73 tools, 314 dialogues, 753 calls
- 限界
- 2023 model set
- アクセス・版
- Published EMNLP
- URL / DOI
- 10.18653/v1/2023.emnlp-main.187
ACEBench
SRC-F05-006
- タイトル
- ACEBench
- 著者・組織
- Chen et al.
- 年
- 2025
- 種別
- Peer-reviewed / Findings EMNLP 2025
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Tool-selection and Tool-use errors
- 範囲
- Benchmark task settings
- 限界
- Taxonomy dependent on benchmark design
- アクセス・版
- Published Findings EMNLP
- URL / DOI
- 10.18653/v1/2025.findings-emnlp.697
SMART: Self-Aware Agent for Tool Overuse Mitigation
SRC-F05-007
- タイトル
- SMART: Self-Aware Agent for Tool Overuse Mitigation
- 著者・組織
- Qian et al.
- 年
- 2025
- 種別
- Peer-reviewed / Findings ACL 2025
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Unnecessary tool selection, mitigation
- 範囲
- Tested tool-overuse settings
- 限界
- Tool Overuse is one subpattern, not all Tool-selection Failure
- アクセス・版
- Published Findings ACL
- URL / DOI
- 10.18653/v1/2025.findings-acl.239
EVOTOOL
SRC-F05-013
- タイトル
- EVOTOOL
- 著者・組織
- Yang et al.
- 年
- 2026
- 種別
- Peer-reviewed / ACL 2026
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Planner/Selector/Caller distinction, cross-module propagation
- 範囲
- Modular architecture
- 限界
- Not a universal architecture
- アクセス・版
- Published ACL
- URL / DOI
- 10.18653/v1/2026.acl-long.2016