从原始基因组到模型可读Token:FineDNA DNA序列预处理全流程(6碱基切分与<dna>标签)
从原始基因组到模型可读Token:FineDNA DNA序列预处理全流程(6碱基切分与标签)
FineDNA 是 DNA 语言模型 Carbon-X 的完整训练数据,本文带你完整看懂它的 DNA 序列预处理全流程:如何把一条原始基因组序列,变成模型可读的 Token 流。核心就两个动作——按 6 碱基切分和用 <dna> 标签包装,外加一套生物文本里的 DNA 自动识别管线。
为什么 DNA 序列不能"直接喂"给模型
语言模型不认识 ATCGATCG... 这种裸序列,它需要一套统一的"包装格式"。FineDNA 的 tokenizer 是按 6 个碱基一组(6-mer)读取 DNA 的,这就决定了预处理的第一原则:
每条序列的长度必须是 6 的整数倍,并整体包在
<dna>…</dna>标签里。
打个比方:6 碱基就像"一字节",<dna> 标签就像给这段二进制数据加上的文件头,告诉模型"这里开始是 DNA 了,请切换到 DNA 阅读模式"。
第一步:6 碱基切分(长度对齐)
以一条 10 碱基的序列 TGAGTACTAA 为例,它不是 6 的倍数,直接切分会在末尾留下不完整的半组。FineDNA 的做法是截断到不超过原长的最大 6 的倍数:
TGAGTACTAA(10 bp)→ 截断为TGAGTACT(8 bp)→ 仍不是 6 的倍数 → 再截为TGAGTA(6 bp)✅- 对应逻辑可见
mid/pipeline/tag_dna_sequences.py中的_truncate_to_k函数
截断而不是补 A,是为了避免引入人工填充碱基——补 A 会让模型学到"DNA 后面跟着很多 A"的虚假模式,而截断只损失末尾 1~5 个碱基,对基因组窗口(动辄几万 bp)而言可以忽略。
第二步:用 标签包装
截断后的序列被包裹为:
<dna>TGAGTA</dna>
这个标签有三个作用:
- 模式切换:模型见到
<dna>就知道进入 DNA 词表,之后的 token 全部走 6-mer 编码路径; - 边界隔离:
</dna>明确告诉模型"DNA 到此为止",后续恢复普通文本/英文词表; - 可检索性:在训练日志和 SFT 对话里,所有 DNA 片段都以统一标签呈现,方便定位与评估。
第三步:元数据标签(可选,随机出现一半概率)
对真核生物序列,预处理还有"半概率"的元数据前缀,即每条序列有 50% 概率带上物种分组或基因类型标签,三种形态随机取一:
| 形态 | 示例 |
|---|---|
| 物种分组 + 基因类型 | <mammalian_species><protein_coding_region><dna>ATG…</dna> |
| 仅物种分组 | <plant_species><dna>ATG…</dna> |
| 仅基因类型 | <intron><dna>ATG…</dna> |
这种"一半带、一半不带"的设计很聪明:模型既能学会利用元数据("这是哺乳动物蛋白编码区")来辅助理解序列,又不会因为标签缺席而完全失灵——它必须同时掌握"有提示"和"无提示"两种阅读方式。
不同来源 DNA 的差异化清洗
| 来源 | 特殊处理 |
|---|---|
| 真核基因组窗口(GENERator,最长 100 kbp) | 6 碱基截断 + <dna> 包装 + 半概率元数据标签 |
| mRNA(OpenGenome2) | 序列统一转大写、删除剪接位点标记 @、丢弃超过 100,000 碱基的序列 |
| 原核基因组(GTDB、IMG/PR) | 转大写 + 6 碱基切分 + <dna> 包装 |
转大写看似琐碎,其实关键:原始数据里小写常用来表示"未校正区域",而模型词表只有大写 A/T/C/G,不统一会浪费词表容量。删除剪接标记 @ 则是为了让模型直接学习"内含子-外显子如何拼接"的边界模式,而不是记住一个符号。
生物文本中的 DNA 自动打标:两步管线
FineDNA 不只处理裸序列,还从网页、论文、论坛里找出含有 DNA 的普通文本并自动打标。这套管线代码在 mid/pipeline/ 目录,共两步,说明见 mid/pipeline/README.md:
1. 正则过滤:文档里真的有 DNA 吗?
1_regex_filter.py 用一条"严格正则"(V4 版)筛文档,同时满足以下 4 条才保留:
- 出现 15 个以上连续核酸字母(A/T/C/G/U/N,大小写不限)
- 这段连续序列至少含 3 种不同碱基(纯
AAAAAAAAAAA不算) - 序列不在花括号
{}内(爬虫文本里的花括号通常是 LaTeX 公式) - 文档提到至少一个分子生物学关键词(dna、gene、primer、pcr、sequencing 等 19 个词之一)
2. P90 切分:DNA 够长吗?
2_p90_split.py 统计每篇文档最长 DNA 词的长度,以全数据 90 分位值 39 bp 为界:
- 最长 DNA ≥ 39 bp → 进入
mid_bio_p90_*配置("真序列"文档) - 其余 → 进入
mid_bio_rest(大多是引物、短基序)
为什么这么分?消融实验表明:p90 文档权重加倍后,DNA 基准测试成绩更好。短串大多只是引物,长串才是有信息量的序列。
其中"什么算一个 DNA 词"由 tag_dna_sequences.py 定义:按空格切分后,≥6 个字符的纯 A/T/C/G 单词,或 ≥12 字符且歧义碱基(IUPAC 码)占比 ≤20% 的单词;自动剥离开尾标点、5'/3' 标记和连字符探针前缀。命中后原地打上 <dna>…</dna> 标签。
处理后的数据长什么样
所有成品按"来源"组织在 mid/ 目录下,每个来源一个 parquet 配置,如:
- mid/dna_eukaryote_vertebrate_mammalian/(哺乳动物基因组,717 万文档)
- mid/dna_mrna/(mRNA 序列,5270 万文档)
- mid/bio_p90_pubmed/(含长 DNA 的 PubMed 文档)
每个配置都含统一的 4 列:text(已按上述流程格式化、可直接 tokenize 的文档)、id、source、metadata(JSON 字符串)。README 中还有完整的采样权重表——DNA 占总训练量的 55%(181.96B 唯一 token)。
总结:一张流程表
| 步骤 | 动作 | 目的 |
|---|---|---|
| 1 | 截断到 6 的倍数 | 对齐 6-mer tokenizer |
| 2 | <dna>…</dna> 包装 |
词表模式切换与边界隔离 |
| 3 | 50% 概率加元数据标签 | 学会"带/不带提示"双模式 |
| 4 | 转大写 / 去 @ / 去超长 mRNA |
统一词表、学剪接模式、控长度 |
| 5 | 正则过滤 + P90 切分(生物文本) | 筛出"真含序列"的高价值文档 |
理解了这套预处理规则,你也就理解了 DNA 大模型数据工程的核心:格式即语义——6 碱基对齐让编码无浪费,<dna> 标签让模型知道何时切换"阅读器官",而半概率元数据则教会模型独立于标签之外的真本事。