机器学习推断速度，硬件和批量设置怎样报告？

论文声称新模型“每秒处理一千张影像”，却没有说明用的是哪块GPU、批量大小、一张图的尺寸，或计时是否包括读取文件。别的实验室在普通工作站上只能跑到一百张，双方未必有谁测错了；吞吐量本来就依赖硬件、并行度和测量范围。投稿时应把推断速度拆成清楚的任务、设备和时间边界，让读者知道指标对哪种使用场景成立。

先说清被计时的到底是哪一步。列输入样本尺寸与数据格式、模型权重精度、批量大小、并发请求数、预处理和后处理是否计入、是否包含磁盘读取或网络传输。每秒样本数是吞吐量，单个样本从请求到结果的时间是延迟；增大批量可能提高吞吐量，却使单个请求等待更久。两者不要都叫“推断时间”，也不要用空载模型的纯前向时间替代临床工作流的端到端时间。

再记录环境：CPU或GPU型号、显存、内存、驱动、框架版本、推断引擎、线程数和电源模式。NeurIPS论文清单要求交代计算资源；MLCommons推断基准也强调软硬件组合与配置一致。若使用半精度、量化或编译优化，报告准确性评估是否使用同一版本模型，避免速度来自一种配置、精度来自另一种配置。不同硬件平台间可列结果，但需标注各自条件。

计时前先预热并记录次数。若GPU任务异步运行，停止计时前要等它完成，否则测到的可能只是提交命令的时间。重复多轮测量，报告中位数、波动范围和样本总数，避免只取最高峰值。若设备有温度降频或多用户资源争用，说明测量是在专用还是共享机器进行。把启动模型、加载权重和首次请求延迟另报，可帮助解释在线服务与批处理的差异。

基线比较要用相同工作负载和计时范围。新方法若只计模型前向，基线却包含图像解码，就算同一GPU也不可比。对于输入长度可变的文本或序列模型，给长度分布，不要只测最短样本。若在低批量下满足实时需求，而高批量用于批处理，可分别报代表性场景；别只挑一个最有利的点。预先确定主要部署场景，比事后选择最快配置更有说服力。

结果表可并列延迟、吞吐量、峰值显存和能否在目标设备部署。精度与速度权衡需用同一模型检查点：若量化后稍降准确率但速度增加，就并列展示两项变化。测试脚本和输入样本清单应可追溯，让别人能按相同计时边界重跑。即使不同实验室硬件不可完全一致，充分描述条件仍能判断差异来自方法还是环境。

交稿前让合作者按文中信息复现一次速度测量。若他要猜测批量、是否同步GPU或是否算图像读取，方法段还不够。一个清楚限定的“每秒一千张”可能只适用于专用高端卡和大批量，但仍有价值；关键是让读者知道它在哪些条件下成立。