DistilBert:DistilBERT for Chinese 海量中文预训练蒸馏bert模型

DistilBert for Chinese 是一款海量中文预训练蒸馏Bert模型，旨在为研究人员和开发者提供高效、易于使用的中文自然语言处理工具。本仓库于12月16日正式发布，现将发布内容介绍如下：

发布内容

1. 可下载的蒸馏模型：我们已经训练好了预训练的中文DistilBert模型，其他用户可以直接使用该模型，或者在自己的语料库上进行进一步训练。

2. 下游任务示例和代码：我们提供了使用DistilBert进行微调的示例和代码，涵盖了三个中文GLUE（CLUE）任务。

3. 小模型基准测评：我们对DistilBert模型进行了性能评估，并将其与Albert_tiny和Ernie等小模型进行了对比。

注意事项

• 请确保在合适的硬件环境下使用本模型，以获得最佳性能。
• 使用本模型时，请遵循相关法律法规和道德规范。
• 如有疑问，请查阅相关文档或寻求专业人士的帮助。

我们期待DistilBert for Chinese能为中文自然语言处理领域的研究和应用带来更多可能性。祝您使用愉快！