ADR 0006: 品質基準 — 不変条件のプロパティテスト化と、1 つの実データ検索ベンチマーク

ステータス: accepted · 日付: 2026-06-17

不変の記録。ドリフト追跡の対象外（covers なし）。編集せず、置き換え（supersede）で更新すること。

0002 のプロダクト方針の一部。

背景

現在の評価はすべて合成データによる自己整合性の確認にとどまっている。QA ゴールデンセット（41 ケース）は、手作業で整合させた合成 KB に対して 1.0 のスコアを出しており、検索 A/B ハーネスは lexical-hash によるゴールドデータを使っているが、その docstring 自体が「ハーネスの計算ロジックを証明するだけで、実際の再現率は証明しない」と述べている。CI では実際の LLM、実コーパス、実埋め込みモデルは一切動いていない。汎用ライブラリにとって、精度は本質的にユーザーのデータに依存するものであり、リーダーボードのスコアは RAGSpine が所有すべきものではない。

決定

品質をスコアではなく保証として定義する:

1. 主軸 — 不変条件のプロパティテスト化。 捏造防止は決して捏造しない、出典追跡は常に存在する、RESTRICTED は決して漏洩しない、挙動は決定的である — これらを少数の agent 層テストから網羅的なプロパティテストへと強化する。これこそが、依存関係の重いフレームワークではなく RAGSpine を選ぶ理由である。
2. 加えて 1 つの実データ検索ベンチマーク。 RAGSpine 自身が所有する唯一の主張 — 「ハイブリッド検索 + listwise 再ランキングは素朴な BM25 に勝る」— はエンジンの特性であり、ユーザーデータの特性ではない。これを、実際の数値（Recall@k、MRR）を報告する実データ（非合成）のラベル付き検索ベンチマークで裏付け、専用レーンで実行する（必ずしも CI のたびに実行するわけではない）。

ドメイン精度のベンチマークは、明示的にユーザーのデータに委ねる。

検討した代替案（却下）

• 実データ精度評価をリリースゲートにする（案 A）: 実ラベル付きセット + 実モデルを全チャネルにわたって基準とする。却下 — 精度はユーザーのデータ/モデルに依存するため、ライブラリが所有できない。
• 合成 CI ゲート + 別途公開するフルベンチマーク（案 B）: 「精度数値を中心に据えた品質」という フレーム としては却下したが、その「1 つの実ベンチマークを公開する」という部分だけは、検索に関する主張に限って採用した。

帰結

• 「done / 1.0」は、合成データでの精度 ではなく、不変条件が証明されたこと を意味する。
• この検索ベンチマークは、実ベクトルバックエンドを experimental から昇格させる際のゲートとなる（0005）。
• 高速・オフライン・決定的な CI ループを、リグレッション検知の警報線としてそのまま維持する。