投稿准备 · 2026/10/20
外部验证数据与开发集有同一患者,论文怎样核对?
按参与者而非文件或医院名称核对开发与外部验证数据交集,并重算性能。
一篇预测模型论文称“在另一家医院外部验证”,但两院数据来自同一联合数据库,部分转诊患者在开发集和验证集中各出现一次。验证医院不同,并不能替代对参与者独立性的核查;若模型已在训练、调参或选择阶段见过同一个人的信息,验证性能可能过于乐观。投稿前应从数据来源、患者标识和时间窗口三方面核对开发集与评估集的重叠。
把两套数据的来源画清
写出每套数据的机构、采集时间、入组条件、原始数据表及去重层级。联合登记库可能将同一患者的门诊、住院和转诊记录分给不同机构,按“记录行”随机分组会让一个人跨集。若研究预测一次住院结局,分析单位虽可能是住院次,仍需说明同一患者多次住院如何分组和处理相关性。TRIPOD+AI明确把评估数据与用于训练、调参或模型选择的数据区分,并要求两者在参与者层面不重叠。
用可核查的标识做交集检查
在合规的数据环境中,可用加密后的稳定患者ID、机构转诊ID或可靠的记录链接方法比对两集,不需在论文公开个人身份信息。检查同一人不同就诊号、重复影像、重复标本或由同一原始扫描生成的衍生文件。若只能依赖机构内部ID,要说明跨机构是否存在无法识别的重叠及其可能方向;不能因为两个文件名不同就宣称无交集。保存去重规则、检查程序版本和发现的重叠人数。
发现重叠要重新定义评估集
若验证集1000人中发现40人曾进入开发或调参,应按可说明的规则建立无重叠评估集,并重新计算区分度、校准度及区间。还要检查筛选阈值、特征标准化参数和缺失值填补是否从验证集结果中学习;即使患者不重叠,反复依据验证性能选模型也会使它不再是独立的最终评估。报告修正前后的样本数与事件数,不应只更新最终曲线而沿用旧方法段。
外部性还包括场景差异
排除交集后,再比较开发与验证人群的年龄、疾病严重程度、结局频率、测量方式和就诊流程。另一医院不一定代表不同临床场景,同一医院的较晚时期也不必然是弱验证;关键是清楚说明数据独立性与目标使用环境。若验证集来自转诊高风险患者,而模型计划用于基层筛查,即使没有重叠,适用性仍需单独讨论。TRIPOD+AI要求解释验证数据是否代表模型预计使用的人群。
定稿前随机抽查几名跨机构转诊者,从原始数据库追到开发集与验证集的入选标记。再核对论文流程图中的开发、调参、最终评估人数能否与交集检查日志回算。若跨机构重复仍无法识别,应如实说明限制,并谨慎界定验证的独立性。
参考信息:TRIPOD+AI临床预测模型报告声明;《预测模型需要适当的内部、内部外部与外部验证》。