Portfolio / Evidence Note

PASS記録だけでは、何を検証したのか証明できない

この事例では、検証記録にPASS結果が記載されていました。しかし、その記録だけでは、結果がどの実装に対するものかを判断するための対象情報が十分に残っていませんでした。以下では、確認できたこと、確認できないこと、見直した主張を分けて示します。

事例の概要

検証記録は複数ケースのPASS結果を報告していましたが、記録単体には実行したrunner、実装、呼び出し経路などを結び付ける情報が十分にありませんでした。そのため、記録だけからPASSを特定の実装に帰属させることはできません。

確認対象には、元の検証記録、保持されていた実行スクリプト、標準出力・標準エラーと終了結果、環境・事前確認の記録、後日の診断実行、後日のwrapper経由の再テスト、ファイルシステムのメタデータ、および別記録としての後日公開された検証資料が含まれます。ここでは証拠の種類と、その限界を要約しています。

後日公開されたHarnessの検証記録は別の検証記録です。この事例の記録によって、その後日の資料の内容が無効になった、または確認されたとは扱いません。

この事例の基礎となる内部記録は公開していません。このページは公開可能な範囲に限定した要約であり、読者が元の内部記録を独立に確認できるものではありません。

残存する証拠からは、意図された検証対象、ソースの系譜やコピーの方向、作成順序、AIの関与、ローカル実装がテストダブルとして意図されたか、記録されたPASSが後の重要な判断に使われたかを確定できませんでした。したがって、より強い因果説明は支持できません。

記録と保持された実行の直接的な来歴も確立していません。両者の関係についての内部評価は強い推論にとどまります。

以前の枠組み：Verification Target Divergence

現在支持できる指摘：検証記録は、PASSを記録だけから特定の実装に帰属させられるほど、実行された検証対象を十分に識別していませんでした。

この修正は証拠の内部レビューを経たもので、第三者監査ではありません。

この「Verification Target Identity」という語は、この事例と記事内の説明のために用いる表現です。確立された業界用語だとは主張せず、新規性も主張しません。

検証記録にはPASS結果が記載されていました。記録はPowerShell 7とWindows PowerShell 5.1の環境を記載していました。
その記録には、runner、実装、呼び出し経路を識別する情報が記載されていませんでした。
保持された実行スクリプトではローカル関数が実行され、現行のsrcパスを直接呼び出してはいませんでした。ただし、この保持実行とPASS記録との直接の来歴は確立していません。
後日の診断記録と再テスト記録では呼び出し方が異なっていました。これらから元の意図や実行順序は確定できません。
残存証拠は、当初の検証意図を確定するには不十分でした。

後から結果を解釈しやすくするため、状況に応じて、実行ID、runnerの識別情報、実行された実装の識別情報、呼び出し経路、ハッシュ、リポジトリやコミットの状態を記録する方法が考えられます。これは一つの事例から得た実務上の提案であり、標準や普遍的な必須要件を示すものではありません。

関連する公開資料：AI Git Safety Harness。この公開記事と検証記録は、本件で確認した過去の記録とは別の資料です。