机器学习基线模型的调参资源，怎样做公平比较？

新方法用了两百次超参数搜索，比较表中的基线却直接采用软件默认设置。若新方法高出一点，读者难以判断提升来自算法设计，还是更多调参机会。公平比较不必机械地给各算法相同参数组合数，但应说明选择预算和调参规则，让基线在同一任务上得到合理优化。

先回答比较表里每个基线为何在场：它是否代表领域常用方法、最近强方法，还是简单下限。说明实现来源、版本、预训练权重、输入特征、训练轮次与评价指标。NeurIPS论文清单要求说明实验设置、计算资源和主要结果的再现材料；只有算法名称和最终分数，无法判断比较条件。不要把作者原论文在另一个数据集上的数字直接搬来，与本研究重新训练的新方法并列。

调参预算可用试验次数、总GPU小时或总计算量衡量，但不同模型单次运行成本差异很大，应同时报告各方法的搜索范围、搜索算法、早停规则和实际耗费。若资源不足，预先限制所有方法的合理预算，并解释为什么足够；也可报告性能随预算增加的曲线，让读者看到基线是否仍在提升。重要的是预算选择在看见最终测试表现前确定，而不是只给新方法继续搜索直到领先。

比较之前，把数据和打分方式对齐。基线与新方法应使用同一训练测试划分、相同的可用输入、数据清理和主要指标；若某基线天然不能用额外模态，清楚说明它比较的是何种部署场景。给一方额外标注数据或较新的预训练模型，不能用“同一测试集”掩盖训练资源差异。对随机方法使用可比的种子和重复次数，报告波动，避免拿新方法最优种子对基线均值。

还要尊重基线原有的推荐配置。有些方法对学习率、批量大小或正则强度极敏感，默认值只是软件演示，并非论文可比性能。先核对原始论文或官方实现建议，再在本任务验证集内搜索。若复现原作者代码困难，说明所做修改与尚未解决的差距，不要把弱复现悄悄当成方法本身的上限。对于特别昂贵的基线，可以减少候选范围，但需要如实报告不对等的资源限制。

比较表除性能外，还可列参数量、训练时长和推断成本。新方法即使准确率略高，若成本大幅增加，其价值取决于应用需求；一个强但昂贵的基线也不一定适合边缘设备。讨论部分按预先定义的主要指标陈述结论，不因某一项最好就忽略其他权衡。资源表记录的是具体硬件和软件环境下的测量，不宜推广成所有平台的绝对速度。

交稿前检查一项落后的基线：它的超参数从哪里来，验证曲线是否仍在上升，计算预算与新方法差多少？让另一位合作者按配置复跑一小部分。若基线提高后新方法的优势消失，就修正结论；若仍有差距，透明的预算记录反而增强论证。公平成绩来自可解释的比较过程，而不是对手分数越低越好。