Drowzee:用逻辑编程 + 变质测试检测 LLM 的事实冲突幻觉¶
用 logic programming(Prolog)把维基事实扩增成大量"有唯一正确答案的逻辑推理题",再用变质测试(metamorphic testing)+ 语义结构相似度 oracle 判定 LLM 的回答是否构成事实冲突幻觉;6 个 LLM × 9 个领域,幻觉率 24.7%–59.8%,并把推理能力缺失定位为主因。
0. TL;DR¶
- 问题:事实冲突幻觉(FCH)需要外部 ground truth 核验,而且常常要"多跳推理"才能判对;现有基准又静态、人工标注、判分靠字符串匹配 / 人工 / 另一个 LLM。
- 做法:把 Wikipedia + Wikidata 抽成事实三元组,用 Prolog 的五条推理规则推出"由可信事实必然推出"的新事实(自带 ground truth);再把事实映射成问句模板 + 正负极性变体,得到 7,200 条 Q&A;最后解析 LLM 自述的"推理要点",用两个 Jaccard 语义结构 oracle 判 FCH 并分四类。
- 结果:6 个 LLM × 9 个领域,幻觉率 24.7%(GPT-4)–59.8%(最高),ChatGPT 为 42.1%;EI(推理错误)约占一半,EK(知识错误)约 40%。
- 发现:模型对时间 / 时序不敏感、对 OOD 知识不肯说"不知道"、逻辑推理能力缺口是 FCH 主因;模型编辑只能在小规模(≈150 条)救火,超过 1000 条就伤模型。
- 我的判断:造题侧的"逻辑推导即 ground truth"很干净,判题侧"让模型自证推理再比对结构"是这套方法的关键设计前提;迁移到医学本体时,规则语义的严谨性与阈值重标定是最大风险(详见 §7)。
1. 问题:为什么 FCH 难测¶
论文把幻觉按"冲突对象"分成三类,并只做第三类:
| 类型 | 定义(论文口径) | 能否靠"一致性检查"发现 |
|---|---|---|
| Input-Conflicting | 输出与用户输入 / 指令不一致(改人名、误解意图) | 可以(对输入做一致性检查) |
| Context-Conflicting | 长文 / 多轮对话内自相矛盾、丢上下文 | 可以(对上下文做一致性检查) |
| Fact-Conflicting (FCH) | 输出与公认世界知识直接冲突 | 不行——必须对外部事实源核验 |
由这个差别引出论文的两个挑战:
- Challenge #1:难以自动构造与更新基准数据集。 知识本身在变(新事实出现、旧事实过期),人工维护成本高,静态 benchmark 覆盖面与适应性都受限。
- Challenge #2:难以自动验证 LLM 答案背后的推理。 "对的答案 + 错的推理"会掩盖错误理解;复杂逻辑关系尤其难自动核验;人类专家水平差异还会给标注引入噪声。
本文立场:把逻辑编程同时当作造题器和判题器的基础——Prolog 从可信事实推出必然为真的新事实(解决 #1),语义结构相似度比对"LLM 自述的推理要点"与"该题的证据事实"(解决 #2)。
2. 关键洞察:造题侧与判题侧各一条变质关系¶
metamorphic testing(变质测试) 不直接断言"某个具体输出对不对",而是断言"输入变化 ⇒ 输出按已知规律变化"。本文用了两条 metamorphic relation(MR),是全篇枢纽:
- 造题侧:新事实是逻辑推导出的、必然为真 ⇒ 符合该事实的问句答 YES,违背它的问句答 NO。
原文(§3.3):"Since the newly generated knowledge is sound, the questions complying with the knowledge should be answered with 'YES' and the questions contravening the knowledge should be answered with 'NO'."
- 判题侧:同一组事实应在 LLM 的"推理要点"里被复现 ⇒ 回答的语义结构与 ground truth 的语义结构相似度应高于阈值,低于阈值即判 FCH。这就是"两个 oracle"的由来。
最小记号(论文 §2.2):Program = facts + rules;Fact 形如 predicate(entity…),例如 bigger(horse, cat);Rule 是 Horn 子句 head :- body;Query 对事实库提问,引擎答 Yes / No 或给出变量实例。论文把"查询 → 看答案"压成推理式:
例:bigger(X, Z) :- bigger(X, Y), bigger(Y, Z). 表达传递关系。
3. 方法:四个模块¶
| 模块 | 论文中的名字 | 做什么 |
|---|---|---|
| ① | Factual Knowledge Extraction(§3.1) | 从知识库 dump 抽实体 + 事实三元组 |
| ② | Logical Reasoning(§3.2) | 用推理规则把种子事实扩增成新的 ground truth 知识 |
| ③ | Benchmark Construction(§3.3) | 把新知识转成 test case + oracle(Q&A + prompt 模板) |
| ④ | Response Evaluation(§3.4) | 解析回答 → 建语义结构 → 相似度 oracle 判 FCH 并分类 |
流水线顺序:知识抽取(54,483 实体 / 1,647,206 三元组)→ 逻辑推理(SWI-Prolog,Neg / Sym / Inverse / Trans / Comp)→ 基准构建(关系→模板、正负极性变体 + ground truth)→ LLM 交互(要求给结论 + 分点列出所用知识)→ 响应评估(StanfordOpenIE 抽三元组 + Phrase-BERT,两个 oracle 的 Jaccard 相似度,阈值 \(\theta = 0.8\))→ 分类 CO / EI / EK / OL。
3.1 ① 事实抽取¶
- 数据源:Wikipedia dump(正文用
wikiextractor抽取)+ Wikidata SPARQL(结构化三元组);实体 / 关系分类沿用 Wikipedia(DBpedia)体系。 - 规模:54,483 个实体、1,647,206 条三元组。
- 9 类实体:Culture and the Arts;Geography and Places;Health and Fitness(疾病与致病基因);History and Events;People and Self;Mathematics and Logic;Natural and Physical Sciences;Society and Social Sciences;Technology and Applied Sciences。
- 3 类关系(按谓词语法形态分,决定后面用哪套模板):
- Noun Phrase:
place_of_birth(Barack Obama, Honolulu)、genre(28 Days Later, horror film) - Verb Phrase in Passive Voice:
killed_by(John F. Kennedy, Lee Harvey Oswald)、located_in_time_zone(Arizona, UTC-07:00) - Verb Phrase in Active Voice:
follows(4769 Castalia, 4768 Hartley)、replaces(American Broadcasting Company, NBC Blue Network)
- Noun Phrase:
- 算法:
ExtractGroundFacts(EC, RC)按"实体类别 × 关系类别"分治遍历,对每个 (entity, predicate) 调QueryDB,取该谓词下 entity 出现在主体或客体位置的全部三元组,累加成 \(\widetilde{R}_{ground}\)。可扩展性来自这里:换知识库只需换QueryDB。
3.2 ② 逻辑推理:五条规则¶
论文声明贡献是"five unique logic reasoning rules",但 RQ4 消融只测四类——因为 Symmetric 主要作为 Composite 的构件、自身不引入新知识。
| # | 规则 | 形式化 | 例子(及是否单独成题) |
|---|---|---|---|
| 1 | Negation [Neg] |
\(\dfrac{n(s,o)}{\neg\,\overline{n}(s,o)}[Neg]\) | 由 won(Murakami, Nobel2016) 得 did not win(…) 为假 · 单独成题 ✅ |
| 2 | Symmetric [Sym] |
\(\dfrac{n(s,o)}{n(o,s)}[Sym]\) | different_from(s,o) ⇒ different_from(o,s) · 只作 Composite 构件 ❌ |
| 3 | Inverse [Inverse] |
\(\dfrac{n(s,o),\,n'=Reverse(n)}{n'(o,s)}[Inverse]\) | influence_by(Murakami, Brautigan) ⇒ influence(Brautigan, Murakami) · ✅ |
| 4 | Transitive [Trans] |
\(\dfrac{n(s_1,o_1),\,n(s_2,o_2),\,o_1=s_2}{n(s_1,o_2)}[Trans]\) | loc_in(Murakami, Kyoto) + loc_in(Kyoto, Japan) ⇒ loc_in(Murakami, Japan) · ✅ |
| 5 | Composite [Comp] |
把 Neg / Sym / Inverse / Trans 及普通谓词串接成多层规则 | 论文只给多层推理式(式 12),正文该处三元组例子被注释掉 · ✅ |
机制(Algorithm 2 DerivingFacts):对每类关系里的每个谓词 \(n\) 自动生成规则与新谓词 \(n_{new}\);把 \(\widetilde{R}_{ground}\) 与规则 \(\widetilde{Q}\) 拼成 Prolog 程序 \(\mathcal{P}\);查询 \(n_{new}(S,O)\) 在程序 \(\mathcal{P}\) 下的解,取变量实例,每个 \((s,o)\) 组成新事实 \(n_{new}(s,o)\) 存入 \(\widetilde{R}_{derived}\)。注意:事实太多会让引擎报错,作者用采样子集实体构造查询(§4.1)。
这一节最该记住的一句:扩增出的新事实是"由可信事实必然推出"的,所以它自带 ground truth——这是全方法能自动化的根。
3.3 ③ 基准构建:模板 + 极性变体 + prompt¶
关系 → 问句模板:按谓词语法形态 + 时态映射到预定义模板,难描述的谓词用定制模板,再用 LLM 润色自然度。模板例:
- Noun Phrase:
Is it true that <Subject> and <Object> share <Relation>?/<Subject> and <Object> have/made/shared totally different <Relation>. Please judge the truthfulness of this statement. - Verb Phrase(Passive):
Is it true that <Subject> is/was/are/were <Relation> <Object>?/It is impossible for <Subject> to be <Relation> <Object>. Am I right? - Verb Phrase(Active):
Is it true that <Subject> <Relation> <Object>?
ground truth 自动生成:由推出的三元组直接判 Yes / No(造题侧 MR);再用同义词 / 反义词做极性变体,答案自动取反。论文例子:原题 "Is it true that Crohn's disease and Huntington's disease could share similar symptoms and signs?" → Yes,变异后 "…have totally different symptoms and signs?" → No。
prompt 模板(Table 4 的关键结构,原文保留):
Instruction: Answer the question with your knowledge and reasoning power.
Query: Now given the question: {question}, please provide an answer with your knowledge and reasoning power.
Think of it step by step with a human-like reasoning process.
After giving the answer, list the knowledge used in your reasoning process in the form of
declarative sentences and point by point.
[示例:Question: During Barack Obama held the position as the president of the USA,
were any films directed by James Cameron released?
Supposed Response: Yes, … Avatar in 2009.
The key knowledge points used in this reasoning process are:
1. Barack Obama was the US President from January 20, 2009 to January 20, 2017.
2. James Cameron is a famous film director known for movies like Titanic, Avatar, Terminator 2, etc.
3. Cameron's only film release during Obama's presidency was Avatar in 2009.]
设计前提:prompt 要求给出显式 yes / no / "I don't know" 判断,并把推理用到的知识分点写成陈述句——后者正是判题 oracle 的输入。"让模型自证推理"是这套方法能自动判题的前提。
3.4 ④ 响应评估:两个 oracle + 四分类¶
流程(Algorithm 3 EvaluateResponse)
- Preliminary Screening:回答为"拒答 / I don't know" ⇒ 记 CO(模型缺知识时守"诚实原则",不算幻觉)。
- Response Parsing:只对可疑回答,用
ExtractTriple从"推理要点"抽三元组 \(\widetilde{Trpl}\),BuildGraph建成语义结构 \(SS_{resp}\)(实体 = 节点,关系 = 边);ground truth 的 \(\widetilde{R}_{all}\) 同样建 \(SS_{ground}\)。 - 相似度 + 分类(阈值 \(\theta_e,\theta_n\),实验取 \(0.8\)):
| 条件 | 分类 | 含义 |
|---|---|---|
| \(s_e < \theta_e\) 且 \(s_n < \theta_n\) | OL | 两类问题都有(both) |
| 仅 \(s_e < \theta_e\) | EI | 推理错误(error inference) |
| 仅 \(s_n < \theta_n\) | EK | 知识错误(error knowledge) |
| 都不低于阈值 | CO | 正常 |
两个语义感知 oracle(原命名)
- Edge Vector Metamorphic Oracle(\(MO_E\)) 判"关系 / 推理": $\(J\_Sim_E(SS_{resp}, SS_{ground}) = \frac{|\widetilde{E}_{resp} \cap \widetilde{E}_{ground}|}{|\widetilde{E}_{resp} \cup \widetilde{E}_{ground}|},\quad \text{FCH if } J\_Sim_E < \theta_e\)$
- Node Vector Metamorphic Oracle(\(MO_N\)) 判"实体 / 知识": $\(J\_Sim_N(SS_{resp}, SS_{ground}) = \frac{|\widetilde{N}_{resp} \cap \widetilde{N}_{ground}|}{|\widetilde{N}_{resp} \cup \widetilde{N}_{ground}|},\quad \text{FCH if } J\_Sim_N < \theta_n\)$
判"相等"的宽松条件:边——关系相同或同义即算相同;节点——实体相同或同义即算相同(词典来自 WordNet + 自建同义词表 + 对称关系词典)。评估只看实体与关系是否对齐,不看事实出现顺序(目标是事实准确性,不是数学证明的严格序列)。
实现上:StanfordOpenIE 抽三元组、Phrase-BERT 算节点 / 边向量相似度、处理不好的复杂回答交给 GPT-4 抽。阈值定法:9 个领域各抽 30 条 = 270 条人工判定样本,取 \(\theta_e=\theta_n=0.8\),用 Laplace 的 sunrise 问题估计 true positive ≈ 99.6%。
4. 实验与结果¶
4.1 设置¶
| 项 | 设置 |
|---|---|
| 被测模型(6 个) | 闭源 API:ChatGPT(gpt-3.5-turbo-0613)、GPT-4;开源:Llama2-7B-chat-hf、Llama2-70B-chat-hf、Mistral-7B-Instruct-v0.2、Mixtral-8x7B-Instruct-v0.1 |
| 采样参数 | temperature=0、top-p=0.9、top-k=0 |
| 推理引擎 / 数据 | SWI-Prolog(大规模事实用采样子集);Wikipedia dump + Wikidata SPARQL |
| 输出稳定性 | 每领域 × 每规则随机 40 条 = 1,440 条,每条跑 5 次;Sentence-BERT 余弦 + Friedman 检验,平均 p ≈ 0.54 → 无显著差异,正式评测只跑 1 次 |
| 判定阈值 | \(\theta_e=\theta_n=0.8\);StanfordOpenIE + Phrase-BERT,复杂回答用 GPT-4 抽 |
| 硬件 | Ubuntu 22.04;2× AMD EPYC 7713(各 64 核)、512 GB RAM、2× NVIDIA A100 PCIe 80GB;共 120 GPU 小时 |
4.2 RQ1–RQ4¶
- RQ1(有效性):生成 7,200 条 Q&A,覆盖 9 个领域。总体幻觉率 GPT-4 = 24.7%(最低)、ChatGPT = 42.1%,区间 24.7%–59.8%。参数更大的开源模型(Llama2-70B、Mixtral-8x7B)正常回答率超过 ChatGPT,小参数(Llama2-7B、Mistral-7B)更差。领域上 Natural and Physical Sciences 与 Mathematics 最弱(论文推断:天体物理 / 数学实体训练覆盖不足,且题目要求多实体关系理解)。
- RQ2(FCH 分类):三位作者独立标注 100 条随机幻觉样本后讨论达成共识。分布 EI ≈ 一半、EK ≈ 40%、两类重叠 8%–21%——有些是实体内部知识就错,需要"纠错"而非"补推理"。
- RQ3(与现有工作对比):100 条人工核验样本上的成功率 TruthfulQA 89% / KoLA 82% / HaluEval-QA 85% / FActScore 97% / Drowzee 100%;FActScore 与 Drowzee 高,因为"拆成原子事实 / 基于推理"的细粒度评估,字符串匹配(HaluEval、KoLA)最弱。与自然语言推理基准比(FOLIO 1.4k、DEER 1.2k,均为专家标注、非自动),Drowzee 的特点是可扩展、演绎推理、自动化。
- RQ4(消融):只测 4 类规则(排除 Symmetric),结论是四类各自都能独立触发 FCH;Transitive 触发的幻觉最多,其次 Composite(People / History 领域尤多)。
5. 论文自述的发现¶
- Finding 1:LLM 对时间信息敏感度低、时序 / 先后逻辑辨别弱,易出 EI 幻觉。例:Mistral-7B-Instruct-v0.2 在 1874 年加拿大联邦选举题上,自述知识全对仍答错。
- Finding 2:遇到陌生 / 误导信息(OOD)时不守"我不知道",而是编造知识甚至编造来源 → EK 幻觉;案例里用 RAG 重新注入相关知识后恢复正常;GPT-3.5-turbo 的 OOD 案例(2023 年 7–12 月山火)显示它会把"列举顺序"误当"时间顺序"。
- 缓解(model editing):用 ROME、MEMIT(经 FastEdit、EasyEdit 实现)把推理得到的新知识写进开源模型,≈150 条编辑量对相关知识的问题明显改善;超过 1000 条后模型开始大量输出无意义回答、整体性能下降。结论:模型编辑只能小规模救火。
6. 局限与威胁¶
- 数据只来自 Wikipedia 系(Wikipedia dump + Wikidata)——但框架不绑定知识库,换库即可。
- 幻觉分类准确性:GPT-4 自动分类准确率约 71%(人工复核 100 条估计得出),故论文采用"GPT-4 分类 + 人工校验"。
- Takeaway:训练时要重视 honesty(不会就说不会) 与逻辑推理能力;也需要白盒手段追查幻觉的深层成因。
7. 我们的观察¶
以下五条是我们的观察,不是论文主张。
- "拒答 = 正常"是一次取舍:把 "I don't know" 记 CO 会低估幻觉率,也掩盖"该会不会"的知识缺口;医学场景里"该说不会却说"更危险,迁移时要重定这条规则。
- ground truth 的纯度取决于抽取与规则:论文自己承认 Symmetric 不引入新知识;Composite 多步链若关系语义不严谨(如
influence、part_of),"必然为真"就可能不成立——这是迁移到医学本体时最大的风险点。 - 对 LLM 的隐性依赖:用 GPT-4 抽复杂回答的三元组、用 LLM 润色问句,使"自动评测"仍含 LLM 成分;论文在 RQ3 批评 TruthfulQA 用 LLM 评估,这里是同类风险、只是位置不同。
- 源码里的排版瑕疵(勘误级,不影响方法):\(MO_E\) 的判式误写成与 \(\theta_n\) 比较(应为 \(\theta_e\))、\(MO_N\) 段落出现自指句、"four types of rules"与"five"混用、Table 3 的 Passive 模板里
<Subject>重复。这些是笔误,不是方法错误。 - 可复现性的边界:代码与数据开源,但各领域用例条数、59.8% 对应哪个模型正文未给(被注释的表格是旧值,不能当结论)。引用规模时用论文的 7,200,不要用仓库里扩展版数据集的大小倒推。
8. 对「医疗 LLM 幻觉测试」的可迁移性¶
- 可直接复用:四模块流水线的分工(抽取 → 推理 → 造题 → 判题)、五条推理规则的形式、模板化造题 + 极性翻转、Jaccard 双 oracle 的"判推理"思路、"以拒答为正常"的设计。
- 迁移必须改:实体 / 关系分类换成医学本体(疾病、解剖、药物、症状;谓词如
causes、treats、is_symptom_of);阈值 0.8 是在维基事实上标定的,医学文本抽取质量不同,需重标定;StanfordOpenIE对医学长句与缩写("MI"、"CKD")较弱,需换抽取器或加实体链接。 - 风险:Negation 规则在临床上"没有证据"≠"否定成立",极性翻转要人工把关;Composite 多跳在医学里容易推出"看似合理但不成立"的因果(相关 ≠ 因果)。
- 与生成式评估的关系:这是一条判别式(先造题、再判题)路线,和"用另一个 LLM 当裁判"的路线互补——前者的判据是结构化事实,后者是语义偏好。
9. 术语与关键引用¶
| 名称 | 说明 | 本文中的角色 |
|---|---|---|
| Fact-Conflicting Hallucination (FCH) | 事实冲突幻觉 | 全文主题 |
| Input- / Context-Conflicting Hallucination | 输入冲突 / 上下文冲突幻觉 | §2.1 对照 |
| metamorphic testing / metamorphic relation (MR) | 变质测试 / 变质关系 | 方法骨架 |
| test oracle | 测试预言(判定"对 / 错"的机制) | 两个 oracle |
| logic programming / Prolog | 逻辑编程 / 推理引擎 | 规则与推理 |
| fact triple (subject, relation, object) | 事实三元组 | 数据形态 |
| reasoning rule | 推理规则(省略查询过程的推理式) | 五条规则 |
| ground truth | 基准事实 / 标准答案 | 造题与判题 |
| negation / symmetric / inverse / transitive / composite reasoning | 否定 / 对称 / 逆向 / 传递 / 组合推理 | 五条规则 |
| out-of-distribution (OOD) knowledge | 训练分布外知识 | RQ2 案例 |
| model editing | 模型编辑(不重训改知识) | 缓解手段 |
| RAG (retrieval-augmented generation) | 检索增强生成 | RQ2 案例中的缓解 |
| Jaccard similarity | Jaccard 相似度 | 两个 oracle |
| error inference (EI) / error knowledge (EK) | 推理错误 / 知识错误 | 四分类 |
| refusal / "I don't know" | 拒答 | 预处理规则 |
| TruthfulQA / HaluEval / KoLA / FActScore | 既有幻觉基准 | RQ3 对比对象 |
| FOLIO / DEER | 一阶逻辑 / 归纳推理基准 | RQ3 推理基准对比(非自动) |
| ROME / MEMIT / FastEdit / EasyEdit | 模型编辑算法与工具 | 缓解实验 |
| Wikidata / DBpedia | 结构化知识源 | 数据来源与分类体系 |
彩蛋
Drowzee 是一只靠吃梦维生的宝可梦——名字寓意"吃掉 LLM 的幻觉"(论文脚注)。