自己修正失敗（Self-correction Failure） | AI Reliability Catalog

例

計算結果を一度出した後で見直しを求めたところ、誤りを直さず同じ結論を繰り返した。

区別・注意

最初の推論自体が誤ることはReasoning Failureに関係しますが、自己修正失敗は、誤りの検出や見直しが求められた後の対応に焦点を置きます。Verificationは追加の証拠やテストで確認する過程であり、自己修正そのものを意味しません。自己批評や再生成を行えば必ず改善する、とは限りません。

Evidence

Evidenceを見る →

Large Language Models Cannot Self-Correct Reasoning Yet

SRC-F03-014

タイトル: Large Language Models Cannot Self-Correct Reasoning Yet
著者・組織: Huang et al.
年: 2024
種別: ICLR
公開状態: PEER_REVIEWED
対応する用語・主張: Self-correction Failure; intrinsic self-correction without external feedback can fail/degrade
範囲: reasoning tasks/models tested by authors
限界: not evidence against all trained/verified correction systems
アクセス・版: published ICLR
URL / DOI: https://proceedings.iclr.cc/paper_files/paper/2024/hash/8b4add8b0aa8749d80a34ca5d941c355-Abstract-Conference.html

ProgCo: Program Helps Self-Correction of Large Language Models

SRC-F03-015

タイトル: ProgCo: Program Helps Self-Correction of Large Language Models
著者・組織: Song et al.
年: 2025
種別: ACL
公開状態: PEER_REVIEWED
対応する用語・主張: Self-correction Failure; self-verification failure; structured program-based mitigation
範囲: 3 instruction/math benchmarks
限界: method-specific; pseudo-program verification changes intervention
アクセス・版: published ACL
URL / DOI: https://doi.org/10.18653/v1/2025.acl-short.73

S²R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning

SRC-F03-016

タイトル: S²R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning
著者・組織: Ma et al.
年: 2025
種別: ACL
公開状態: PEER_REVIEWED
対応する用語・主張: Self-correction Failure; training can induce stronger self-verification/correction
範囲: 3 base models, in/out-of-domain benchmarks
限界: trained skill is not spontaneous intrinsic correction
アクセス・版: published ACL
URL / DOI: https://doi.org/10.18653/v1/2025.acl-long.1104

LLM Self-Correction with DeCRIM

SRC-F03-007

タイトル: LLM Self-Correction with DeCRIM
著者・組織: Ferraz et al.
年: 2024
種別: Findings EMNLP
公開状態: PEER_REVIEWED
対応する用語・主張: Instruction-following Failure; Self-correction Failure; multi-constraint failures; critic-assisted refinement
範囲: RealInstruct, IFEval, GPT-4/Mistral等
限界: critic feedback means this is not pure intrinsic self-correction
アクセス・版: published Findings EMNLP
URL / DOI: https://doi.org/10.18653/v1/2024.findings-emnlp.458

例