← Catalogへ戻る

Reasoning Failure

推論失敗

推論を要する課題で、推論、問題分解、制約の適用、論理・算術・合成などの処理に失敗し、誤った結論、手順、判断に至る失敗です。

ARC-V1-022

複数段階の計算で最初の足し算は正しくできたのに、次の比較で大きい値を取り違え、最後の選択を誤る。

区別・注意

誤った回答は複数の原因で生じ得るため、すべてが推論失敗とは限りません。知識不足、検索・取得失敗、指示追従失敗などによる誤りとは切り分けます。ハルシネーションとも同義ではなく、隠れた思考過程に直接アクセスできることを前提にしません。

未解明・注意点

論理的失敗、算術的失敗などの下位分類をどこまで共通の体系として扱えるか、また出力された説明が内部の計算過程をどこまで表すかは未確立です。

Evidence

Evidenceを見る →

KnowledgeBerg

SRC-F03-012

タイトル
KnowledgeBerg
著者・組織
Zhang et al.
2026
種別
Findings ACL
公開状態
PEER_REVIEWED
対応する用語・主張
Reasoning Failure; knowledge completeness / awareness / application separation
範囲
4,800 MCQs, 1,183 seeds, 10 domains, 17 languages
限界
representative open-source LLMs; not a complete reasoning ontology
アクセス・版
published Findings ACL
URL / DOI
https://doi.org/10.18653/v1/2026.findings-acl.548

RiddleBench

SRC-F03-013

タイトル
RiddleBench
著者・組織
Halder et al.
2026
種別
Findings EACL
公開状態
PEER_REVIEWED
対応する用語・主張
Reasoning Failure; Self-correction Failure; constraint-order fragility; irrelevant information; poor self-correction
範囲
1,737 puzzles
限界
puzzle domain; insufficient for causal mechanism claims
アクセス・版
published Findings EACL
URL / DOI
https://doi.org/10.18653/v1/2026.findings-eacl.228