SCI投稿准备 · 2026/10/22
GBIF物种记录的occurrenceID,数据去重如何保留来源?
GBIF出现记录去重应区分同源再发布与空间抽稀,保留occurrenceID、来源键、行级映射及下载DOI。
研究者从GBIF下载一个物种的出现记录,按经纬度和日期去重后,样本数减少近一半。这个结果可能包含真正的重复发布,也可能把同一天同一地点的不同个体、标本副本或连续观测合并了。经纬度和日期相同,不自动意味着同一条生物学证据。删行前先问清:你要合并的是同一文件行、同一采集事件、同一标本,还是同一个体?
Darwin Core把occurrenceID定义为出现事件的标识,而不是某个数字文件行的编号。它是追溯记录的关键,但也不等于跨所有发布者的万能去重键。GBIF索引中,同一标本可能从馆藏库、序列库和再发布平台出现多条记录,各自有不同标识;GBIF的聚类说明也列出多种跨数据集关联线索。下载后先保留GBIF索引键、occurrenceID、datasetKey、馆藏机构、馆藏号、采集号与原始来源,而不要只留物种名和坐标。
先处理能确证的重复导入。若同一下载文件中出现相同稳定标识和内容,可按预定规则保留一条,并记录删除理由。但跨数据集相同occurrenceID时仍要核查出处和字段差异,确认是同一出现事件的再发布,还是标识被误用。原始行不要直接覆盖;生成一张映射表,把每个被合并的GBIF键指向保留记录。读者需要看到删去的是哪些证据,而不只是最后的样本数。
第二层处理可能相关的记录。GBIF的聚类功能可提示可能来自同一来源的条目,但官方培训材料提醒,若把所有聚类记录整组排除,可能连有用记录也丢掉。检查采集人、采集号、馆藏机构、标本编号、日期、坐标精度和记录类型,再给出人工复核规则。一个标本被分给多家标本馆,和同地点采到两株不同植物,都可能在表面字段上相似。没有足够信息时可标为“可能重复”,在敏感性分析中比较保留与排除的结果。
去重规则要服从研究问题。若模型需要独立的空间出现点,同一坐标网格里的多条记录可能因空间抽稀而只留一条,但这是一项抽样设计,不应称作“删除重复数据”。若研究的是馆藏流转或采集强度,标本副本本身可能是有意义的对象;若研究物种分布,同一个体在不同时刻的记录也不一定可合并。方法段把确证重复、空间抽稀和低质量过滤分成不同步骤,各自报告删除数量。
数据引用和版本也要留住。GBIF为出现记录下载提供可引用的DOI,引用指南要求用户保留下载的可追溯来源。方法段给出查询条件、下载日期、下载DOI和筛选代码版本;正文参考信息可写纯文本题名,链接放后台来源字段。若几个月后重新下载,源数据可能新增、修正或撤回;用当时的下载快照和行级映射,别人才能复算你那一版的样本。公开衍生数据时也应给原始数据集归属。
交稿前找几组坐标和日期完全相同的记录:一组确实同源,一组属于不同个体,再看算法是否给出不同处理。随后检查去重前后的物种、时间、空间分布,尤其关注被删记录是否集中在某些馆藏或地区。若结论依赖大批“可能重复”的判定,报告敏感性范围。这样去重才是透明的研究决定,而不是一行隐藏在脚本里的删除命令。