Reasoning Failure
推論失敗
推論を要する課題で、推論、問題分解、制約の適用、論理・算術・合成などの処理に失敗し、誤った結論、手順、判断に至る失敗です。
ARC-V1-022
例
複数段階の計算で最初の足し算は正しくできたのに、次の比較で大きい値を取り違え、最後の選択を誤る。
区別・注意
誤った回答は複数の原因で生じ得るため、すべてが推論失敗とは限りません。知識不足、検索・取得失敗、指示追従失敗などによる誤りとは切り分けます。ハルシネーションとも同義ではなく、隠れた思考過程に直接アクセスできることを前提にしません。
未解明・注意点
論理的失敗、算術的失敗などの下位分類をどこまで共通の体系として扱えるか、また出力された説明が内部の計算過程をどこまで表すかは未確立です。
Evidence
Evidenceを見る →
KnowledgeBerg
SRC-F03-012
- タイトル
- KnowledgeBerg
- 著者・組織
- Zhang et al.
- 年
- 2026
- 種別
- Findings ACL
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Reasoning Failure; knowledge completeness / awareness / application separation
- 範囲
- 4,800 MCQs, 1,183 seeds, 10 domains, 17 languages
- 限界
- representative open-source LLMs; not a complete reasoning ontology
- アクセス・版
- published Findings ACL
- URL / DOI
- https://doi.org/10.18653/v1/2026.findings-acl.548
RiddleBench
SRC-F03-013
- タイトル
- RiddleBench
- 著者・組織
- Halder et al.
- 年
- 2026
- 種別
- Findings EACL
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Reasoning Failure; Self-correction Failure; constraint-order fragility; irrelevant information; poor self-correction
- 範囲
- 1,737 puzzles
- 限界
- puzzle domain; insufficient for causal mechanism claims
- アクセス・版
- published Findings EACL
- URL / DOI
- https://doi.org/10.18653/v1/2026.findings-eacl.228