← 返回学术指南

SCI投稿准备 · 2026/10/23

机器学习结果只给平均值,失败运行如何交代?

机器学习平均性能应同时给出计划、成功和失败运行数,说明失败类型、重试规则及版本。

一项机器学习实验计划重复十次训练,只有七次顺利收敛。稿件若只写“七次平均性能”,读者可能以为总共只跑了七次,并看不见方法的失败概率。若失败与特定数据拆分、随机种子或资源不足有关,留下的七次还可能偏向容易的运行。投稿时应把预定运行、成功运行、失败原因和重试规则放在同一本实验账本里。

先把“失败”写成可执行的判定规则。程序崩溃、显存不足、数值溢出、达到预定轮次却没有收敛、输出不满足有效性检查,性质不同。记录失败发生阶段、日志摘要、输入数据版本和硬件条件;不要事后把低分运行重命名为“失败”,只让高分留在分析里。若预先允许重试,规定重试次数、是否保留原种子、哪些技术故障可重跑,以及重跑后两次记录如何对应。

NeurIPS论文清单要求披露计算资源和整个研究项目的计算需求,包括未进入最终论文的初步或失败实验。对比较方法,失败计数也应并列呈现,不能只给新方法修复机会、基线一遇到报错就舍弃。若某类配置普遍显存不足,说明方法在给定硬件上的可运行边界;若某种初始化易发散,报告这与模型稳定性相关,而不只是后台操作问题。

算平均值前,先说明平均的是哪些运行。若关注模型“成功训练后”的性能,可以报告成功运行的分布,但标题要明确条件,并另列失败比例。若关注一次启动能否得到可用模型,失败不能从结果中消失;应描述成功率、重试次数和总计算成本。不能把失败赋值零后与准确率直接取均值,除非零在该指标中有明确可解释含义。不同指标的缺失也要区分:模型完成训练却没有某个附加评估,并非训练失败。

结果表至少列计划运行数、真正启动数、有效完成数、失败类型及成功运行性能的中心值和范围。若某些失败样本被排除,说明它们是否集中在特定机构、类别或难例拆分;这关系到泛化解释。对方法间性能差异,提供所有运行的散点或清单,别用一根误差条遮住缺失的三次。随机种子文章关注波动区间,这里专门处理缺失运行如何影响分母和可用性。

若团队修复了一个程序错误再重跑,版本要分开。旧版的失败不能无声删除,新版的成功也不能与旧版成功合并为同一固定方法的十次重复。说明修复何时发生、影响哪些运行,并按版本重算。对可公开代码的研究,提供能触发失败的配置或最小复现;对涉及敏感数据的研究,可公开配置和错误类型,不公开原始样本。

交稿前从实验调度器导出所有作业编号,与结果表的运行次数逐条核对。挑一条中断作业检查它是预定排除、技术重试,还是低分后人为抛弃。读者不要求每次训练都成功,但需要知道“七次平均”背后原来有十次尝试,以及这三次为何没有进入分数。