一句话:一个把论文、数据和代码摆上同一张桌、逐项对质的科研审计智能体。 报告里每个数字拿原始数据重算,每条结论拿原始材料对回,每处引用翻原文核对;对得上的放行,对不上的出示证据与修正方向。 名字取自古人校书勘错的职事「校雠」:一字之讹必究。它只归纳证据、不代替裁决,也不执行你上传的代码。
它自己决定怎么查:先认研究类型与材料缺口,再派 13 件确定性工具——复算、查重、反事实封存、显著性重跑、引用溯源。你不需要懂统计,也不用挑检查项。
全学科都能交:机器学习、化学 / 生物 / 材料实验、医学对照、社科调查、经济实证、文献与法学论证——有专门方法的按域深查,没有的也先过全域数字一致性兜底,绝不空手退回。
没有现成材料?提交页底部有九个示例包——五个藏了问题、三个干净对照、一个没附预测数据(如实标证据不足);另有一份修正稿,可在泄漏案的复审页一键翻案。都可下载、可一键载入当场看核查。
它不是问答机器人:先认研究类型与材料缺口,再派 13 件确定性工具逐项复算,最后翻先例档案找同型旧案。 办案的是智能体,下判决的是规则——结论出自工具证据,大模型只读料、写导语,不裁决。
多实验论文按实验分节:主张与结论各归其实验,不同实验的同名指标不互相判矛盾,只在同一实验内核对口径。
它随身的 13 件办案工具——不是 13 个检查框,是 13 种证伪手法:复算、对账、查重、封存、反事实、溯源。 每件都给出可复算的证据与输入指纹:
| 检查项(13) | 它到底在算什么 | 抓到的证据(实例) |
|---|---|---|
| 全域兜底 —— 任何学科都跑 | ||
| 数字一致性 | 全文数字互相印证 + 算术常识:越界值、百分比合计、分项与总数 | 正文写 0.93、摘要写 0.71,两处对不上 |
| 代码静态检查 | AST 只读分析:全量拟合、种子未固定、目标列混进特征(永不执行) | train_test_split 未设 random_state |
| 建模 / AI 实验 —— 机器学习 / 深度学习 / 预测建模 | ||
| 指标重算 | 按逐样本预测独立重算 Accuracy / Precision / Recall / F1 / AUC | 报告 0.954,复算 0.875 |
| 泄漏查重 | 行哈希比对训练 / 评估两侧,找同一份样本的跨侧重复 | 20 组样本同时在训练侧与评估侧(40 行) |
| 反事实复算 | 封存泄漏样本后重算指标,给泄漏前 / 后对照 | 封存后 accuracy 从 0.930 掉到 0.500 |
| 划分审计 | 划分比例、时间顺序、分层一致性 | 报告写 8:2,代码里 test_size=0.3 |
| 代码-报告对账 | 代码里的划分比例、种子、CV 折数、模型类型与报告声称逐项对照 | 代码 5 折交叉验证,报告写 10 折 |
| 实验研究 —— 化学 / 生物 / 材料 / 医学 / 心理 / 社科 / 经济实证 | ||
| 描述统计复算 | 均值、标准差、样本量按原始测量表重算,与声称值对照 | 报告均值 82.4,数据复算 78.4 |
| 显著性检验 | 自动选型(Welch t / 卡方 / 置换),输出 p、置信区间、效应量 | 报告 p = 0.03,复算 p = 0.49 |
| 多重检验修正 | Bonferroni / Holm / BH 修正后看结论是否存活 | 12 个 p 值,修正后 3 个不再显著 |
| 功效分析 | 实测统计功效与达到 80% 功效所需样本量 | 每组 5 例时功效仅 0.11,需约 74 例 |
| 论文与文献 —— 综述 / 法学论证 / 文字密集研究 | ||
| 引用对账 | 正文引用 ↔ 文献表 ↔ 原文支持度逐条核 | 正文引用 [3],文献表只有两条 |
| 文献表核对 | 条目联 OpenAlex / Crossref 核存在性与元数据 | DOI 存在,作者年份与条目对不上 |
结论口径六档:能确认的才写查实;有嫌疑未证实的标存在风险;材料不够写证据不足——不是通过; 复算对上是检查通过;不适用与执行失败如实标注。每条结论附证据与指纹,绝不冒充结论。
和现成工具有什么不同——互补,不是替代:
| 工具 | 它主要查什么 | 校雠的不同 |
|---|---|---|
| statcheck | 论文里 p 值、检验统计量与自由度是否自洽(APA 格式) | 我们拿原始数据重算 p,并把置信区间与效应量一起对 |
| GRIM / GRIMMER | 均值、标准差与整数样本量之间的算术可能性 | 我们复算均值 / SD / n,并直接核对报告里写出的声称值 |
| 图像查重工具 | 论文图片重复、拼接痕迹 | 不查图;查数据泄漏、指标复算、划分与代码、引用对账 |
| 通用 AI 审稿 | 语言、结构与「看起来像不像」的建议 | 判决出自确定性工具,带证据与指纹,可复算、可复审 |
| 校雠 | 13 件确定性工具 + 六档结论 + 判例 / 复审 | 不做图像查重,也不替你写论文——正因如此,每条结论都能复算 |
这一节不放形容词,只放能复核的数字:基准怎么跑、示例案怎么核、命令怎么复现。 下面每个数字都来自真实运行并落盘;任何一条都可点开原始报告逐条对。
| 合成基准 | 结果 |
|---|---|
| 案件数(程序化生成,真值明确) | 取数中… |
| 应检出问题 | 取数中… |
| 检出率 / 漏报率 | 取数中… |
| 干净对照误报 | 取数中… |
| 证据可复算比例 | 取数中… |
| 单案平均耗时 | 取数中… |
复现命令:pytest tests/ -q(全套工程测试) ·
python -m tests.eval.test_benchmark(重跑 30 案基准,重新生成上表数字)
参照:同一套 13 项检查若人工逐项复核,按每项 10–20 分钟估算约 2–4 小时/案; 系统单案平均 0.032s(不含大模型通读)。人工估算只为量级参照,不是实测。
| 示例案 | 领域 | 结论分布 |
|---|
如实边界:真实用户测试尚未开展;与「大模型直审」的正式对照实验尚未开展。 没做的,这里不写成做过的。
一句话:一个替你审论文、查数据、复核实验结果的「科研证伪」智能体——实验跑完了怕结果有毛病? 你把论文、数据和代码交上来,它把报告里每个数字按原始数据重算一遍、每次实验划分翻查底细、每条引用对回文献原文; 对得上的放行,对不上的拿出证据。名字取自古人校书勘错的职事「校雠」: 刘向典校经传,一字之讹必究。它只归纳证据、不代替裁决,也不执行你上传的代码。
描述统计、显著性检验、模型指标,全部按你提交的数据重新算一遍,和报告写的对不上就标出来。
机器学习实验查数据泄漏,统计研究查 p-hack 与功效,文献论证查「引用是否真支持那句话」。
查实 / 存在风险 / 证据不足 / 核查通过——六档口径,每条结论附证据与指纹,不给一切都下死结论。
我审过的每一案都沉淀为先例档案,同类问题我会主动援引;改完的材料同一套检查重跑,前后对照——改没改好,结果说了算。