星辰语义大模型TeleChat超详细部署文档手册

本文档详细介绍了星辰语义大模型TeleChat的部署方法。星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型，采用1.5万亿 Tokens中英文高质量语料进行训练。

模型概述

1. 星辰语义大模型TeleChat：由中电信人工智能科技有限公司研发训练的大语言模型，采用1.5万亿 Tokens中英文高质量语料进行训练。

2. 开源组件：对话模型 TeleChat-7B-bot 及其 huggingface格式的权重文件，7B模型的int8和int4量化版本。

开源优点

• 支持deepspeed微调：我们开源了基于deepspeed的训练代码，支持Zero并行显存优化，同时集成了FlashAttention2。

• 多轮能力支持：我们开源了多轮数据构建方式，针对多轮模型训练集成了针对多轮的mask loss训练方式，更好地聚焦多轮答案，提升问答效果。

• 外推能力提升：我们开源了8K训练版本模型，采用NTK-aware外推和attention saling外推方式，可以外推到96K。

• 长文生成能力：在工作总结，工作计划，PPT大纲，申论，招标书，邮件，方案，周报，JD写作等长文写作任务具有较好的表现。

请按照本文档的指导，逐步完成TeleChat模型的部署，开启您的AI对话之旅。