从原始基因组到模型可读Token:FineDNA DNA序列预处理全流程(6碱基切分与<dna>标签)

原创2026-11-08 13:01:391,858 阅读

从原始基因组到模型可读Token:FineDNA DNA序列预处理全流程(6碱基切分与标签)

FineDNA 是 DNA 语言模型 Carbon-X 的完整训练数据,本文带你完整看懂它的 DNA 序列预处理全流程:如何把一条原始基因组序列,变成模型可读的 Token 流。核心就两个动作——按 6 碱基切分和用 <dna> 标签包装,外加一套生物文本里的 DNA 自动识别管线。

为什么 DNA 序列不能"直接喂"给模型

语言模型不认识 ATCGATCG... 这种裸序列,它需要一套统一的"包装格式"。FineDNA 的 tokenizer 是按 6 个碱基一组(6-mer)读取 DNA 的,这就决定了预处理的第一原则:

每条序列的长度必须是 6 的整数倍,并整体包在 <dna>…</dna> 标签里。

打个比方:6 碱基就像"一字节",<dna> 标签就像给这段二进制数据加上的文件头,告诉模型"这里开始是 DNA 了,请切换到 DNA 阅读模式"。

第一步:6 碱基切分(长度对齐)

以一条 10 碱基的序列 TGAGTACTAA 为例,它不是 6 的倍数,直接切分会在末尾留下不完整的半组。FineDNA 的做法是截断到不超过原长的最大 6 的倍数:

  • TGAGTACTAA(10 bp)→ 截断为 TGAGTACT(8 bp)→ 仍不是 6 的倍数 → 再截为 TGAGTA(6 bp)✅
  • 对应逻辑可见 mid/pipeline/tag_dna_sequences.py 中的 _truncate_to_k 函数

截断而不是补 A,是为了避免引入人工填充碱基——补 A 会让模型学到"DNA 后面跟着很多 A"的虚假模式,而截断只损失末尾 1~5 个碱基,对基因组窗口(动辄几万 bp)而言可以忽略。

第二步:用 标签包装

截断后的序列被包裹为:

<dna>TGAGTA</dna>

这个标签有三个作用:

  1. 模式切换:模型见到 <dna> 就知道进入 DNA 词表,之后的 token 全部走 6-mer 编码路径;
  2. 边界隔离:</dna> 明确告诉模型"DNA 到此为止",后续恢复普通文本/英文词表;
  3. 可检索性:在训练日志和 SFT 对话里,所有 DNA 片段都以统一标签呈现,方便定位与评估。

第三步:元数据标签(可选,随机出现一半概率)

对真核生物序列,预处理还有"半概率"的元数据前缀,即每条序列有 50% 概率带上物种分组或基因类型标签,三种形态随机取一:

形态 示例
物种分组 + 基因类型 <mammalian_species><protein_coding_region><dna>ATG…</dna>
仅物种分组 <plant_species><dna>ATG…</dna>
仅基因类型 <intron><dna>ATG…</dna>

这种"一半带、一半不带"的设计很聪明:模型既能学会利用元数据("这是哺乳动物蛋白编码区")来辅助理解序列,又不会因为标签缺席而完全失灵——它必须同时掌握"有提示"和"无提示"两种阅读方式。

不同来源 DNA 的差异化清洗

来源 特殊处理
真核基因组窗口(GENERator,最长 100 kbp) 6 碱基截断 + <dna> 包装 + 半概率元数据标签
mRNA(OpenGenome2) 序列统一转大写、删除剪接位点标记 @、丢弃超过 100,000 碱基的序列
原核基因组(GTDB、IMG/PR) 转大写 + 6 碱基切分 + <dna> 包装

转大写看似琐碎,其实关键:原始数据里小写常用来表示"未校正区域",而模型词表只有大写 A/T/C/G,不统一会浪费词表容量。删除剪接标记 @ 则是为了让模型直接学习"内含子-外显子如何拼接"的边界模式,而不是记住一个符号。

生物文本中的 DNA 自动打标:两步管线

FineDNA 不只处理裸序列,还从网页、论文、论坛里找出含有 DNA 的普通文本并自动打标。这套管线代码在 mid/pipeline/ 目录,共两步,说明见 mid/pipeline/README.md:

1. 正则过滤:文档里真的有 DNA 吗?

1_regex_filter.py 用一条"严格正则"(V4 版)筛文档,同时满足以下 4 条才保留:

  • 出现 15 个以上连续核酸字母(A/T/C/G/U/N,大小写不限)
  • 这段连续序列至少含 3 种不同碱基(纯 AAAAAAAAAAA 不算)
  • 序列不在花括号 {} 内(爬虫文本里的花括号通常是 LaTeX 公式)
  • 文档提到至少一个分子生物学关键词(dna、gene、primer、pcr、sequencing 等 19 个词之一)

2. P90 切分:DNA 够长吗?

2_p90_split.py 统计每篇文档最长 DNA 词的长度,以全数据 90 分位值 39 bp 为界:

  • 最长 DNA ≥ 39 bp → 进入 mid_bio_p90_* 配置("真序列"文档)
  • 其余 → 进入 mid_bio_rest(大多是引物、短基序)

为什么这么分?消融实验表明:p90 文档权重加倍后,DNA 基准测试成绩更好。短串大多只是引物,长串才是有信息量的序列。

其中"什么算一个 DNA 词"由 tag_dna_sequences.py 定义:按空格切分后,≥6 个字符的纯 A/T/C/G 单词,或 ≥12 字符且歧义碱基(IUPAC 码)占比 ≤20% 的单词;自动剥离开尾标点、5'/3' 标记和连字符探针前缀。命中后原地打上 <dna>…</dna> 标签。

处理后的数据长什么样

所有成品按"来源"组织在 mid/ 目录下,每个来源一个 parquet 配置,如:

每个配置都含统一的 4 列:text(已按上述流程格式化、可直接 tokenize 的文档)、id、source、metadata(JSON 字符串)。README 中还有完整的采样权重表——DNA 占总训练量的 55%(181.96B 唯一 token)。

总结:一张流程表

步骤 动作 目的
1 截断到 6 的倍数 对齐 6-mer tokenizer
2 <dna>…</dna> 包装 词表模式切换与边界隔离
3 50% 概率加元数据标签 学会"带/不带提示"双模式
4 转大写 / 去 @ / 去超长 mRNA 统一词表、学剪接模式、控长度
5 正则过滤 + P90 切分(生物文本) 筛出"真含序列"的高价值文档

理解了这套预处理规则,你也就理解了 DNA 大模型数据工程的核心:格式即语义——6 碱基对齐让编码无浪费,<dna> 标签让模型知道何时切换"阅读器官",而半概率元数据则教会模型独立于标签之外的真本事。

登录后查看全文
FineDNA