PLOS Computational Biology的Benchmarking稿，能把自研新工具一起参赛吗？

PLOS Computational Biology 的 Benchmarking 稿旨在比较一个活跃领域中实际可用的工具，而不是为作者新开发的工具安排一场发布会。该刊作者指南要求所评方法覆盖得充分或有合理选择依据，评价指标要反映潜在用户的真实用途；作者与基准研究同步创建的新工具不应纳入这种类型的比较。若论文的核心其实是介绍新算法，可以先判断更适合 Methods 或 Software 类型。

先确定用户任务。比较单细胞批次校正工具时，读者关心的不只是一项平均准确率，还可能是稀有细胞群是否被混合、运行资源、失败情况以及结果是否稳定。评价指标应与这些实际用途对应，再选数据集和工具。先定用户任务和评价指标，再比较工具；不能事后只用自家工具表现好的指标宣布胜出。公开候选工具的纳入条件，例如版本、可获得性、是否仍被维护、能否在给定环境运行，而不是只列最终参赛名单。

训练条件要可比较

相同数据并不自动意味着公平。某些工具需要训练集，某些工具只作推断；有些依赖预训练模型或外部参考库。指南要求透明说明各工具的训练条件，并开放基准用的输入和预期输出。可为每个工具保存版本、训练数据、超参数选择办法、计算资源和失败运行记录。若某方法因依赖库冲突无法运行，应如实报告，不要只删除它再声称全面比较。还应记录解决兼容性问题尝试过的版本和环境，免得读者把一次配置失败当成工具在所有平台上都失效。

作者自己的旧工具如果已公开并被领域使用，仍需考虑利益冲突及评价设计，但“同期开发的新工具不纳入”这一要求更明确。若研究中发现基准有缺陷，于是临时写了改良算法，不应把它插入相同排行榜再宣布胜出；可以把新算法作为另一个方法研究处理，或在讨论中说明后续研究方向。两种稿件对读者的承诺不同：Benchmarking回答现有选择如何比较，Methods或Software回答新方法怎样工作。

若公开数据集包含重复样本或与某工具训练数据重叠，还应在比较前识别并说明处理办法。一个工具见过测试样本，另一个没有见过，所得差别不能简单解读为方法能力差。数据划分方案应在各工具之间保持一致，必要时提供独立测试集。

最后让未参与工具开发的同事根据你提供的输入、配置和预期输出重跑一小部分比较。若只能在作者私有服务器得到结果，或数据下载之后还需不公开的筛选脚本，这个基准尚难复用。论文结论也要按实际比较范围表述，不把一个任务上的领先写成所有生物学问题的通用排名。