検証（Verification） | AI Reliability Catalog

例

回答に含まれる計算結果を別の方法でもう一度計算し、元の結論と照合する。

区別・注意

検証は出力を確認する過程であり、モデルが自分の誤りを見直して直すSelf-correction Failureとは焦点が異なります。検証を行っても正しさが保証されるわけではなく、モデル内部の確信度だけを確認することも、ここでいう検証とは限りません。

Evidence

Evidenceを見る →

Chain-of-Verification Reduces Hallucination in Large Language Models

SRC-F02-010

タイトル: Chain-of-Verification Reduces Hallucination in Large Language Models
著者・組織: Dhuliawala et al.
年: 2024
種別: Findings ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Verification; hallucination mitigation
範囲: self-/model-based verification。外部ground truthを保証しない。
アクセス・版: published ACL Findings。
URL / DOI: 10.18653/v1/2024.findings-acl.212

FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation

SRC-F02-004

タイトル: FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
著者・組織: Min et al.
年: 2023
種別: EMNLP original peer-reviewed research
公開状態: published
対応する用語・主張: Factuality, Verification, claim-level support
範囲: biographies/long-form中心。reference knowledge source品質に依存。
アクセス・版: published EMNLP。
URL / DOI: 10.18653/v1/2023.emnlp-main.741

Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics

SRC-F02-011

タイトル: Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics
著者・組織: Godbole & Jia
年: 2025
種別: Findings ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Verification limitations, factuality metric disagreement
範囲: studied factuality metrics/datasetsに依存。
アクセス・版: published ACL Findings。
URL / DOI: 10.18653/v1/2025.findings-acl.1175

Artificial Intelligence Risk Management Framework (AI RMF 1.0)

SRC-F01-001

タイトル: Artificial Intelligence Risk Management Framework (AI RMF 1.0)
著者・組織: NIST
年: 2023
種別: official technical publication
公開状態: published
対応する用語・主張: Reliability, Accuracy, Robustness; trustworthiness characteristics
範囲: AI全般のrisk framework。LLM固有taxonomyではない。2026年時点でrevision underway。
アクセス・版: 現行公開版をhistorical/technical baselineとして扱う。
URL / DOI: 10.6028/NIST.AI.100-1

On Calibration of Modern Neural Networks

SRC-F01-003

タイトル: On Calibration of Modern Neural Networks
著者・組織: Guo, Pleiss, Sun & Weinberger
年: 2017
種別: ICML original peer-reviewed research
公開状態: published
対応する用語・主張: Calibration; confidence vs correctness; temperature scaling
範囲: 主にclassification neural networks。LLM verbal confidenceへ直接一般化不可。
アクセス・版: published proceedings。
URL / DOI: https://proceedings.mlr.press/v70/guo17a.html

MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs

SRC-F01-006

タイトル: MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs
著者・組織: Liu et al.
年: 2025
種別: EMNLP original peer-reviewed research
公開状態: published
対応する用語・主張: Confidence, Calibration, verbal uncertainty
範囲: 自然言語でのuncertainty表明が対象。token-level probabilitiesとは別。
アクセス・版: published EMNLP。
URL / DOI: 10.18653/v1/2025.emnlp-main.1505

Bayesian Prompt Ensembles: Model Uncertainty Estimation for Black-Box Large Language Models

SRC-F01-005

タイトル: Bayesian Prompt Ensembles: Model Uncertainty Estimation for Black-Box Large Language Models
著者・組織: Tonolini et al.
年: 2024
種別: Findings ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Uncertainty Estimation, prompt uncertainty
範囲: Natural-language classification中心、小規模labeled validation setを使う。
アクセス・版: published ACL Findings。
URL / DOI: 10.18653/v1/2024.findings-acl.728

Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations

SRC-F01-014

タイトル: Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations
著者・組織: Ji et al.
年: 2025
種別: EMNLP original peer-reviewed research
公開状態: published
対応する用語・主張: Confidence, verbal vs semantic uncertainty, hallucination
範囲: short-form answers中心。representation interventionの一般化範囲に限界。
アクセス・版: published EMNLP。
URL / DOI: 10.18653/v1/2025.emnlp-main.187

Flip-Flop Consistency: Unsupervised Training for Robustness to Prompt Perturbations in LLMs

SRC-F01-008

タイトル: Flip-Flop Consistency: Unsupervised Training for Robustness to Prompt Perturbations in LLMs
著者・組織: Hejabi et al.
年: 2026
種別: ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Response Consistency, Robustness, Prompt Sensitivity boundary
範囲: 11 datasets、特定のprompt-variation design。Consistency≠truth。
アクセス・版: published ACL。
URL / DOI: 10.18653/v1/2026.acl-long.71

WILDS: A Benchmark of in-the-Wild Distribution Shifts

SRC-F01-009

タイトル: WILDS: A Benchmark of in-the-Wild Distribution Shifts
著者・組織: Koh et al.
年: 2021
種別: ICML original peer-reviewed research
公開状態: published
対応する用語・主張: Distribution Shift, Robustness
範囲: general ML benchmark。LLM-onlyではない。
アクセス・版: published proceedings。
URL / DOI: https://proceedings.mlr.press/v139/koh21a.html

CoRun: Padding is Simple and Efficient for Deterministic LLM Inference

SRC-F01-013

タイトル: CoRun: Padding is Simple and Efficient for Deterministic LLM Inference
著者・組織: Zhao et al.
年: 2026
種別: direct technical preprint
公開状態: preprint
対応する用語・主張: Nondeterminism; batch-dependent numerical execution
範囲: 特定serving/hardware stackでのsystem evidence。
アクセス・版: 2026-08 preprintを明示採用。published versionの代替ではない。
URL / DOI: arXiv:2608.14376

LEPO: Latent Reasoning Policy Optimization for Large Language Models

SRC-F01-015

タイトル: LEPO: Latent Reasoning Policy Optimization for Large Language Models
著者・組織: Zhou et al.
年: 2026
種別: Findings ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Stochasticity as deliberate sampling/randomness
範囲: stochasticityを利用するspecific latent-reasoning method。一般定義の唯一のsourceではない。
アクセス・版: published ACL Findings。
URL / DOI: 10.18653/v1/2026.findings-acl.707

Evaluating Model Robustness and Stability to Dataset Shift

SRC-F01-010

タイトル: Evaluating Model Robustness and Stability to Dataset Shift
著者・組織: Subbaswamy et al.
年: 2021
種別: AISTATS original peer-reviewed research
公開状態: published
対応する用語・主張: Robustness, Distribution Shift
範囲: predictive-model setting中心。
アクセス・版: published proceedings。
URL / DOI: https://proceedings.mlr.press/v130/subbaswamy21a.html

Selective Classification for Deep Neural Networks

SRC-F01-011

タイトル: Selective Classification for Deep Neural Networks
著者・組織: Geifman & El-Yaniv
年: 2017
種別: NeurIPS original peer-reviewed research
公開状態: published
対応する用語・主張: Abstention / reject option; risk-coverage trade-off
範囲: classification setting。free-form LLM abstentionへは概念的移植。
アクセス・版: published proceedings。
URL / DOI: https://proceedings.neurips.cc/paper/2017/hash/4a8423d5e91fda00bb7e46540e2b0cf1-Abstract.html

Evaluating large language models for accuracy incentivizes hallucinations

SRC-F01-012

タイトル: Evaluating large language models for accuracy incentivizes hallucinations
著者・組織: Kalai et al.
年: 2026
種別: Nature original peer-reviewed research
公開状態: published
対応する用語・主張: Accuracy, Abstention, Hallucination, evaluation incentives
範囲: formal model + selected frontier-model case study。utilityはuse case依存。
アクセス・版: published Nature。
URL / DOI: 10.1038/s41586-026-10549-w

Survey of Hallucination in Natural Language Generation

SRC-F02-002

タイトル: Survey of Hallucination in Natural Language Generation
著者・組織: Ji et al.
年: 2023
種別: ACM Computing Surveys major peer-reviewed survey
公開状態: published
対応する用語・主張: Hallucination terminology/taxonomy, factuality/faithfulness boundaries
範囲: major survey。複数taskの用法を統合するため境界は意図的に広い。
アクセス・版: published survey。
URL / DOI: 10.1145/3571730

On Faithfulness and Factuality in Abstractive Summarization

SRC-F02-003

タイトル: On Faithfulness and Factuality in Abstractive Summarization
著者・組織: Maynez et al.
年: 2020
種別: ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Faithfulness, Factuality, Hallucination boundary
範囲: summarization中心だがsource-vs-world distinctionの強い基礎Evidence。
アクセス・版: published ACL。
URL / DOI: 10.18653/v1/2020.acl-main.173

ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems

SRC-F02-006

タイトル: ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
著者・組織: Saad-Falcon et al.
年: 2024
種別: NAACL original peer-reviewed research
公開状態: published
対応する用語・主張: Context relevance, Answer Faithfulness, Answer Relevance; Retrieval Failure
範囲: evaluator design自体にもerrorがあり得る。
アクセス・版: published NAACL。
URL / DOI: 10.18653/v1/2024.naacl-long.20

Overview of the TREC 2025 Retrieval Augmented Generation Track

SRC-F02-013

タイトル: Overview of the TREC 2025 Retrieval Augmented Generation Track
著者・組織: NIST TREC 2025
年: 2025
種別: official evaluation proceeding
公開状態: published
対応する用語・主張: Grounding, completeness, attribution, retrieval/relevance, RAG evaluation
範囲: shared-task operationalization。標準定義ではない。
アクセス・版: official proceedings page。
URL / DOI: https://pages.nist.gov/trec-browser/trec34/rag/proceedings/

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

SRC-F02-005

タイトル: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
著者・組織: Lewis et al.
年: 2020
種別: NeurIPS original peer-reviewed research
公開状態: published
対応する用語・主張: RAG definition, retrieval + parametric generation, factuality benefit
範囲: original RAG architecture。今日の全RAG variationを包含しない。
アクセス・版: published proceedings。
URL / DOI: NeurIPS 2020 proceedings URL

FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation

SRC-F02-008

タイトル: FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation
著者・組織: Zhang et al.
年: 2025
種別: ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Grounding, Faithfulness, Knowledge Conflict, RAG limitations
範囲: conflict-focused RAG setting。strict context adherenceにもfailure modeがある。
アクセス・版: published ACL。
URL / DOI: 10.18653/v1/2025.acl-long.1062

Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models

SRC-F02-012

タイトル: Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models
著者・組織: Wang et al.
年: 2025
種別: ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Retrieval Failure, RAG, Knowledge Conflict
範囲: controlled RAG analyses。全retrievers/domainsへの万能推論は不可。
アクセス・版: published ACL。
URL / DOI: 10.18653/v1/2025.acl-long.1476

例