← 返回学术指南

SCI投稿准备 · 2026/10/22

生成式模型合成训练数据,来源与过滤规则怎样披露?

说明种子材料、生成方式、筛除标准及训练测试隔离,避免合成样本掩盖数据来源。

模型论文称训练集包含十万条“合成样本”,方法段却没有说这些样本从哪里来、哪些被过滤,也未解释测试集是否与生成材料重叠。读者无法判断性能提升是来自新信息、重复模板,还是测试题的泄漏。合成不等于没有来源;投稿时要把生成链条和筛选链条一起交代。

先说清合成样本从哪些原始材料出发。可能是公开语料、人工编写提示、已有数据的结构化字段,或另一个模型产生的原始输出。列出其取得方式、许可、版本和涉及个人信息的处理;若不能公开原始材料,说明可供审核的字段与限制。Hugging Face的数据集卡文档建议记录数据集的来源、组成、预期用途和限制,这些信息在合成集里同样必要。不要把“由大模型生成”写成来源说明,因为生成模型本身也有版本和输入条件。

写明生成任务与关键参数:每个原始条目生成多少候选,提示模板如何设计,使用哪个模型版本,是否有人为改写,重复运行的随机设置如何保存。若同一问题被改写成多个表述,它们不是天然独立样本;应在划分训练与测试时按原始问题或来源实体成组处理。若测试集先于合成过程建立,还要核对提示或人工筛选时是否见过测试答案。

过滤规则应能让人理解样本去留。列出空白、乱码、过长、重复、事实不一致、不合规内容等筛除条件,说明规则的先后顺序和每步剩余量。人工审核要写抽样比例、审核者任务和分歧处理;若使用另一个模型评分筛除,说明阈值、评分提示和误删检查。只写“经严格质量控制”无法复建数据集,也无法解释合成集可能放大的偏差。

NIST关于合成内容的报告讨论来源追踪和标记问题。论文不必声称一套追踪技术能证明所有内容真实,但应让审稿人区分原始、人工编辑和算法生成的样本。训练数据表中可分列真实与合成数量、比例和不同来源;模型消融也可展示仅真实数据、加入合成数据后的性能变化。若过滤规则是看过验证集表现后修改,记录这段迭代,不要写成预先固定。

投稿附上允许共享的生成配置、筛选脚本、数据卡和示例;受限原文不可公开时,说明访问条件和替代审查材料。最后让未参与生成的人从一条最终训练样本逆查到种子、提示、生成批次和过滤决定。追不回去的样本不宜被当作透明可复用的数据资源。

参考信息:Hugging Face数据集卡文档;美国国家标准与技术研究院合成内容透明度资料。