Chinese-BERT-wwm：中文预训练模型

在自然语言处理领域，预训练语言模型是一种重要的基础技术。为了推动中文信息处理研究的深入发展，我们开发了基于全词遮蔽（Whole Word Masking，wwm）技术的中文预训练模型——Chinese-BERT-wwm，及其相关模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3。

本项目基于谷歌官方的BERT模型，并对其进行了优化和改进。Chinese-BERT-wwm模型的发布，旨在为中文自然语言处理任务提供强大的基础模型。

我们团队在2020年9月15日的论文中被录用为长文，并在2020年8月27日的通用自然语言理解评论GLUE中荣登榜首。此外，2020年3月23日发布的模型已接收，欢迎各位研究者使用。

所有模型均支持TensorFlow 2，可以通过变压器库进行调用或下载。我们期待这个模型能为中文信息处理领域的研究带来更多的可能性。