Tool-use Failure
ツール利用失敗
選んだツールについて、呼び出し、引数の設定、実行順序、返り値の解釈、またはエラーからの回復を適切に行えない失敗です。
ARC-V1-036
例
日付を指定する検索ツールを選んだが、日付欄を空のまま呼び出し、エラーの後も同じ形式で繰り返した。
区別・注意
適切なツールを選べない問題はTool-selection Failureであり、選んだ後の使い方の問題とは分けます。外部サービス自体の停止だけで、直ちにモデルのTool-use Failureになるわけではありません。ただし、失敗を受けても不適切な呼び出しを繰り返す場合は、ツール利用の失敗として検討できます。
Evidence
Evidenceを見る →
API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
SRC-F05-003
- タイトル
- API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
- 著者・組織
- Li et al.
- 年
- 2023
- 種別
- Peer-reviewed / EMNLP 2023
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Planning, Tool-selection, Tool-use
- 範囲
- 73 tools, 314 dialogues, 753 calls
- 限界
- 2023 model set
- アクセス・版
- Published EMNLP
- URL / DOI
- 10.18653/v1/2023.emnlp-main.187
ACEBench
SRC-F05-006
- タイトル
- ACEBench
- 著者・組織
- Chen et al.
- 年
- 2025
- 種別
- Peer-reviewed / Findings EMNLP 2025
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Tool-selection and Tool-use errors
- 範囲
- Benchmark task settings
- 限界
- Taxonomy dependent on benchmark design
- アクセス・版
- Published Findings EMNLP
- URL / DOI
- 10.18653/v1/2025.findings-emnlp.697
Robust Tool Use via Fission-GRPO
SRC-F05-010
- タイトル
- Robust Tool Use via Fission-GRPO
- 著者・組織
- Zhang et al.
- 年
- 2026
- 種別
- Peer-reviewed / ACL 2026
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Tool-use recovery, repeated invalid invocation
- 範囲
- Tested training method and models
- 限界
- Method-specific
- アクセス・版
- Published ACL
- URL / DOI
- 10.18653/v1/2026.acl-long.1880
EVOTOOL
SRC-F05-013
- タイトル
- EVOTOOL
- 著者・組織
- Yang et al.
- 年
- 2026
- 種別
- Peer-reviewed / ACL 2026
- 公開状態
- PUBLISHED
- 対応する用語・主張
- Planner/Selector/Caller distinction, cross-module propagation
- 範囲
- Modular architecture
- 限界
- Not a universal architecture
- アクセス・版
- Published ACL
- URL / DOI
- 10.18653/v1/2026.acl-long.2016