RNA语言模型怎样学结构:从RNA-FM到RiNALMo与ERNIE-RNA

RNA序列不是结构本身

RNA由核苷酸序列构成,常用字母 A、C、G、U 表示。RNA分子可以在内部形成碱基配对,进一步影响其局部与整体构象;某些RNA还会与蛋白质或其他分子结合。序列到结构、结构到功能之间有联系,却不是一个可以无条件互换的标签映射。环境、离子、分子伙伴、结构测定方法与细胞状态都会影响我们观察到的构象或功能读出。

RNA语言模型的基本思路,是从大量序列中学习核苷酸的上下文规律。典型的掩码预训练会随机隐藏序列中的一些位置,再根据其余部分预测被隐藏的碱基。这样的任务不要求每条序列都带结构标签,因而可以利用大量未标注数据。模型产生的隐藏向量,可能包含序列共现、家族关系或与结构有关的信号;但模型向量本身不是结构实验,也不是功能测定。研究者还要设计预测头、定义标签和评测划分,才能检验这些信号是否在特定任务中有用。

阅读论文时,最好把三个层次拆开:预训练学到什么、下游模型怎样读取表示、测试集是否足以支持泛化结论。RNA-FM、RiNALMo和ERNIE-RNA都从RNA序列预训练出发,但训练语料、模型结构、结构信息进入方式和评测重点并不相同。它们不能仅凭“RNA foundation model”这一统称就当作同一种方法。

RNA-FM:从未标注非编码RNA中预训练

Chen 等人的 RNA-FM 论文以约 2300 多万条非编码RNA序列进行自监督学习。模型采用 BERT 风格的双向 Transformer,随机遮蔽一部分核苷酸并预测原始碱基,给序列位置生成上下文表示。论文报告模型可服务于二级结构、三维接触或距离、RNA结合以及转录调控等不同问题。这里的“服务于”意味着表示被用于具体下游分析,不意味着一个语言模型前向过程就能自动给出所有结构与功能答案。

RNA-FM的序列来自RNAcentral,去除完全相同序列后约有2370万条非编码RNA。这个数字描述预训练语料的条目数,不是结构标注数,也不是独立实验数。掩码学习用其中未标注的序列构造监督信号:隐藏一部分碱基后恢复原值。由此得到的向量可以作为下游模型输入,但结构与功能标签仍需从各自的数据集取得。把大语料规模和下游有标签样本规模分开报告,才能看清模型到底在哪一阶段使用了监督信息。

RNA-FM研究把模型表示用于不同任务时,预测对象与证据类型并不相同。二级结构或三维接触预测面对位置间关系;RNA结合和5′UTR翻译效率等任务则依赖特定的结合或功能读出。各任务因此需要不同预测器、标签和评价方式。若一个结构任务采用了多序列比对或专门的结构网络,其结果应归属于完整方法组合,而不是单独归因于预训练模型。读论文时应记录表示层、微调方式、额外特征、训练/测试划分和基线,避免把“模型可迁移”误读成“同一向量可直接回答一切问题”。

对于RNA-FM这样的上下文模型,序列长度和输入截断也会影响任务适配。若RNA长于模型可处理的范围,研究者可能按窗口分割或采用其他处理;局部窗口是否保留远距离碱基配对要单独评估。某些RNA结构由相距较远的位置形成,截断可能移除配对伙伴。即使预训练语料覆盖多种ncRNA,模型也不一定同时覆盖所有长RNA、编码转录本、细胞状态和分子复合物,因此应用边界应以对应任务的测试集为准。

不同任务需要不同输出形式。预测二级结构时,任务通常要判断哪些位置构成碱基对;预测接触或距离时,需要处理位置与位置之间的成对关系;结合或翻译效率等功能问题则需由特定实验定义标签。RNA-FM研究中对这些问题采用了不同的模型与评估设置。结构任务上的收益不能直接转成对功能任务的保证;在某个数据集上学到的表示,也不必然覆盖RNA的所有类型与生物状态。

作者还探索了模型表示所包含的序列、结构和演化信号。这类分析能说明表示与已知类别或关系存在统计关联,却不能单凭可视化就证明模型理解了RNA的因果机制。一个表示空间出现聚类,可能与家族、长度、来源数据库或其他共同因素相关;要解释为结构规律,需要控制相应变量并在独立数据上检验。

RiNALMo:把跨家族评测摆到台前

RiNALMo论文报告,模型在来自多个数据库的非编码RNA序列上预训练,使用单核苷酸粒度输入与掩码语言建模,并形成序列级和核苷酸级表示。针对二级结构预测,作者将核苷酸表示组合成位置对特征,再交给专门的残差卷积模块预测碱基配对概率。也就是说,预训练语言模型是表示生成器,结构输出还依赖下游模块,不能把整套结构预测流程简化为“语言模型直接读出折叠”。

论文的一项重要设计,是把跨家族泛化作为测试目标。作者在若干RNA家族上轮流留出一个家族,并和现有结构预测方法比较;另设结构组成不同的测试样本。此类方案比随机拆分同一类序列更有助于判断模型是否只记住近邻同源。但跨家族测试仍是有限的特定家族与数据集,不等于面对任何新RNA类型都能泛化。作者还指出某些家族的泛化表现较弱,并提出未来探索三级结构、编码RNA和化学测绘等方向。

RiNALMo强调结构任务的跨家族评估;据此不能自动推出它在所有RNA功能任务上也有同样优势。判断模型对某个功能问题是否有效,仍需要对应的实验标签、数据切分、外部验证与机制分析。模型在序列上预训练得足够大,不会取消任务本身的定义。

ERNIE-RNA:把碱基配对先验融入注意力

ERNIE-RNA采取了不同的结构增强策略。模型在自注意力计算中加入与碱基配对偏好有关的成对位置偏置,尝试让注意力机制关注可能形成配对的核苷酸位置。预训练仍以掩码语言建模为核心,不是把完整结构标签直接喂给模型。作者分析预训练注意力图,并将其用于零样本结构线索;在需要监督学习的任务中,则以嵌入或注意力图搭配任务专用网络进行微调。

这里的零样本和微调必须分开解释。零样本评估意为没有利用该下游任务的训练标签来学习预测器,但仍可能包含预训练、注意力头选择或后处理等设定;微调结果则依赖下游标签与训练过程。把微调成绩称作“无需标注即可预测”会混淆证据层级。类似地,注意力图呈现与结构相似的模式,只能支持它具有结构相关信号,不能证明每个注意力权重就是精确的碱基对概率或机制解释。

论文还测试了二级结构之外的接触预测、结合和转录调控相关任务。不同任务采用不同数据集、标签和评测指标,结果只能按各自设置理解。作者指出,模型输入长度存在上限,预训练语料以非编码RNA为主,结构增强偏置的形成机制仍需研究。因而,ERNIE-RNA提供的是一种结构先验融入语言模型的路径,而不是全RNA结构问题的通用解决方案。

三种路线回答的问题不同

三者的共同点,是先利用序列自监督信号学习,再在特定结构或功能任务中评估;不同点则在于如何组织输入和结构信息。RNA-FM展示未标注序列表示的多任务用途;RiNALMo将结构预测与跨家族泛化评测作为重点,并搭配明确的结构预测模块;ERNIE-RNA把配对相关偏置引入注意力,使结构信号在模型内部有更显式的先验通道。比较时应当保持数据和任务一致,而不是根据论文中各自最好的摘要式描述排一个总名次。

要进行公平比较,需要锁定同一数据版本、同一序列去冗余规则、相近的训练集与测试集划分、相同的结构或功能标签,以及一致的评价程序。如果一个工作在随机划分上测,一个工作留出整类家族,指标即便同名也不代表同等难度。测试样本与预训练语料的潜在重合也需要审查;模型在公开序列上的预训练范围越大,数据谱系越值得记录。

比较先定位具体贡献

RNA-FM生成上下文表示并测试多个下游问题;RiNALMo还将位置对特征交给残差卷积模块预测碱基配对;ERNIE-RNA把配对偏置加入注意力。完整系统的差异可能来自表示、结构先验、预测头和训练设置,不能自动归因于编码器。现有资料没有在统一数据、划分和预测头下重跑三者,因此不据此排总榜。

可用消融将问题拆开:固定标签、家族隔离划分与预测头,只换表示来源;检验配对偏置时再比较有无偏置,并分别报告冻结与微调。以上是后续实验建议,不是对论文结果的补写。家族留出能减少近缘成员跨训练与测试集,却不能证明测试序列从未进入预训练语料;还应记录语料版本、去重规则与相似性审计。语料无法追溯时,应将潜在重合列为局限。结构任务的结果也不能外推为结合、调控等功能证据。

从研究问题到验证证据

下图把常见研究路径分成预训练、任务适配与独立评估。图中的分支不是某篇论文唯一的流程,只用于提醒每类输出要与相应证据对应。

flowchart LR
    A[未标注RNA序列] --> B[掩码碱基预训练]
    B --> C[序列或核苷酸表示]
    C --> D[结构预测模块]
    C --> E[功能任务模型]
    D --> F[家族隔离的结构评测]
    E --> G[按实验读出定义的功能评测]
    F --> H[报告数据划分与适用范围]
    G --> H

如果只报告模型可以生成表示,却没有下游测试,就不能称它解决了结构或功能预测。如果下游准确性来自特定训练数据,也不能说是预训练模型单独完成。若测试序列来自同一物种、同一家族或近似实验体系,结论就应限于相应分布。好的论文不仅报告分数,还说明标签、拆分、基线、预处理和数据可用性。

用已有数据做无虚构的结构评估

下面的伪代码只是数据评估框架,不包含虚构序列或实验结果。实际使用时,输入应为可追溯的真实序列、结构注释和家族元数据;如果没有足够的家族覆盖,就应把局限写出来,而不是用随机拆分冒充跨家族验证。

# 示意:以家族作为隔离单位,防止近缘RNA同时进入训练集和测试集
records = load_curated_rna_records(sequence_source, structure_source, family_metadata)
records = remove_exact_duplicates_and_audit_provenance(records)
train_set, test_set = leave_out_families(records, heldout_family_ids)

model = load_rna_language_model(model_name, checkpoint_version)
train_features = model.encode(train_set.sequences)
test_features = model.encode(test_set.sequences)
predictor = fit_structure_head(train_features, train_set.base_pair_labels)

metrics = evaluate_on_independent_family(predictor, test_features, test_set.base_pair_labels)
report(metrics, data_split=heldout_family_ids, limitations=known_coverage_gaps)

如果研究功能,需要另行定义功能标签,说明测量来源、实验条件和数据集划分。结构模型的评测不能代替功能模型的验证;一个RNA功能也可能由多个结构状态、相互作用伙伴和环境条件共同决定。对于预测出的候选,更不能仅由语言模型得分推断其生物作用。

小结

RNA语言模型把大量序列中的统计关系转成可迁移表示,但“学到表示”“预测结构”和“解释功能”是不同层次。RNA-FM、RiNALMo和ERNIE-RNA分别展示了未标注序列学习、跨家族结构评估和结构先验融入注意力的路线。可靠比较必须对齐数据、任务和测试方式,并区分零样本与微调结果。本文依据所列论文核实了方法框架与边界,不提供未核对的性能数字,也不把任何一条路线称为已完成全RNA结构与功能理解。

参考资料

  1. Chen J. et al. Interpretable RNA Foundation Model from Unannotated Data for Highly Accurate RNA Structure and Function Predictions. arXiv:2204.00300, 2022. 论文
  2. Penić R. J. et al. RiNALMo: general-purpose RNA language models can generalize well on structure prediction tasks. Nature Communications, 2025. DOI: 10.1038/s41467-025-60872-5
  3. Yin W. et al. ERNIE-RNA: an RNA language model with structure-enhanced representations. Nature Communications, 2025. DOI: 10.1038/s41467-025-64972-0
← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?