AISystem 之 NPU 基础：AI 芯片架构、技术路线与应用场景全景解析

AI 专用处理器 NPU（Neural Processing Unit）和 TPU（Tensor Processing Unit）是深度学习浪潮下硬件层面的核心使能器。本文以 02Hardware/02ChipBase/06NPUBase.md 为骨架，系统讲解什么是 AI 芯片、其训练与推理两大任务形态、GPU/FPGA/ASIC 三条技术路线的取舍，以及 AI 计算中心、自动驾驶与 IoT 三大应用场景，并结合本仓库中昇腾、TPU 等章节的源码级文档进行纵深佐证，帮助读者建立完整的 AI 硬件认知地图。

什么是 AI 芯片

AI 芯片是专门为加速 AI 应用中的大量矩阵计算任务而设计的处理器或计算模块。与传统的通用芯片如中央处理器（CPU）不同，AI 芯片采用针对特定领域优化的体系结构（Domain-Specific Architecture，DSA），侧重于提升执行 AI 算法所需的专用计算性能。

下图展示了一个典型的 AI 芯片（DSA）架构：芯片周围围绕着针对特定领域优化的解码芯片（图中黄色 RSU 部分）、FPGA 芯片（图中粉色部分）等各类专用模块；芯片内部以应用为核心（Role 区域），外围由 Shell 系统承担 Host 接口、DMA、DDR3 存储与多路串行互联等功能，右侧则是以 PE 处理单元网格、输入张量分段广播（Broad-cast）、权重与输出特征图汇聚组成的 NPU 计算阵列逻辑，体现了"围绕应用做裁剪"的 DSA 设计哲学。

DSA 通常被称为针对特殊领域的加速器架构，因为与在通用 CPU 上执行整个应用程序相比，它们可以大幅提升特定应用的性能。DSA 可以通过更贴近应用的实际需求来实现更高的效率和性能。除了 AI 芯片，DSA 的其他例子还包括图形加速单元（GPU）、用于深度学习的神经网络处理器（NPU/TPU）以及软件定义网络（SDN）处理器等。

AI 芯片作为一种专用加速器，通过在硬件层面优化深度学习算法所需的矩阵乘法、卷积等关键运算，可以显著加速 AI 应用的执行速度，降低功耗。与在通用 CPU 上用软件模拟这些运算相比，AI 芯片能带来数量级的性能提升。因此，AI 芯片已成为 AI 技术实现落地的关键使能器。

CPU、GPU、NPU 的架构差异

三者的架构区别如下图所示：CPU 最为均衡，可以处理多种类型的任务，各种组件比例适中；GPU 则减少了控制逻辑的存在但大量增加了 ALU 计算单元，提供给我们以高计算并行度；而 NPU 则是拥有大量 AI Core，这可以让我们高效完成针对性的 AI 计算任务。

从本仓库 02Hardware/README.md 的课程脉络看，这种差异是递进演化的结果：《AI 芯片基础》从 CPU 的通用逻辑架构（冯诺依曼架构）出发，通过打开计算的本质（数据与时延），引出为并行计算而生的 GPU 及其解决的业务场景，最后落到当前最火的 AI 芯片 NPU，并迈向 CPU、GPU、NPU 并存的超异构计算系统架构。

AI 芯片的兴起背景与代表厂商

AI 芯片的兴起源于深度学习的快速发展。随着神经网络模型的规模不断增大，其应用快速发展，训练和推理所需的计算量呈指数级增长，传统的通用芯片已无法满足性能和功耗的要求。与此同时，AI 应用对实时性和能效的需求也日益提高，尤其是在自动驾驶、智能安防、边缘计算等场景中。这些因素共同推动了 AI 芯片的发展。

AI 专用处理器的发展可以追溯到 2016 年，谷歌推出了第一代 TPU，采用了独特的 TPU 核心脉动阵列设计，专门用于加速 TensorFlow 框架下的机器学习任务。此后，谷歌又陆续推出了多个 TPU 系列产品，不断优化其架构和性能。仓库 02Hardware/05Abroad/04TPUIntrol.md 给出了历代 TPU 的量化对比：从 TPU v1（2016 年，28nm，92 TOPS，8 GiB DDR3）到 TPU v2/v3（引入 HBM 高带宽内存与 TPU Pod 集群），再到 TPU v4（7nm，1200 GB/s 内存带宽），同时 Edge TPU、谷歌 Tensor 等产品将 AI 加速延伸到了 IoT 与移动端。

华为紧随其后，推出了自己的 AI 专用处理器——昇腾 NPU。昇腾 NPU 采用了创新的达芬奇架构，集成了大量的 AI 核心，可以高效地处理各种 AI 任务。华为还推出了多款搭载昇腾 NPU 的产品，如华为 Mate 系列手机和 Atlas 服务器等。仓库 02Hardware/06Domestic/08AscendBase.md 进一步展示了昇腾的完整产业布局：昇腾计算产业基于昇腾系列处理器和 CANN（Compute Architecture for Neural Networks，异构计算架构）、AI 计算框架、应用使能、开发工具链等构成全栈 AI 计算基础设施，硬件产品覆盖 Atlas 200/300/500 推理产品、Atlas 推理服务器系列、Atlas 训练系列产品（Atlas 800/900 等）三大场景。

特斯拉作为一家以电动汽车和自动驾驶技术闻名的公司，也推出了自己的 AI 芯片——DOJO。DOJO 采用了独特的架构设计，旨在加速自动驾驶系统的训练和推理任务。除了上述几家巨头外，国内外还有许多其他公司也在积极布局 AI 芯片领域，如寒武纪的 MLU 系列、地平线的征程系列等。这些 AI 芯片在架构设计、性能表现、应用场景等方面各有特点，为 AI 技术的发展提供了强有力的硬件支持。

AI 芯片任务和部署

AI 芯片在 AI 的发展中扮演着至关重要的角色，其任务和部署过程极其复杂。首先，AI 芯片需要处理大量数据，并执行高强度的计算任务，这涉及到高性能计算、能效优化、硬件架构设计等多个方面。在 AI 系统中，芯片不仅要具备强大的计算能力，还需要在不同应用场景下表现出色，例如数据中心、大规模服务器以及边缘设备等。

AI 芯片的复杂性主要体现在以下几个方面：

• 计算能力：AI 任务通常涉及大量的矩阵运算和并行计算，这对芯片的计算核心和内存带宽提出了极高的要求。为了满足这些需求，芯片需要设计复杂的并行计算架构，并配备高效的内存系统，以保证数据的高速传输和处理。
• 能效比：尤其是在移动设备和边缘计算场景中，芯片必须在保证高性能的同时，尽量降低功耗。这要求芯片设计者在硬件架构和算法加速技术上进行优化，以提高计算效率并减少能源消耗。
• 灵活性和可扩展性：不同的 AI 任务可能需要不同的计算资源和数据处理能力，芯片必须能够动态调整以满足不断变化的应用需求和技术进步。

尽管 AI 芯片的任务和部署极为复杂，但其功能最终可以归结为两种主要形态：训练和推理。

训练芯片

在训练阶段，AI 芯片需要支持大规模的数据处理和复杂的模型训练。这需要芯片具有强大的并行计算能力、高带宽的存储器访问以及灵活的数据传输能力。

算力、存储、传输、功耗、散热、精度、灵活性、可扩展性、成本，九大要素构筑起训练阶段 AI 芯片的"金字塔"：

要素	作用与要求
算力	强大的并行计算能力是训练模型的根基，支撑着复杂模型的构建与优化
存储	高带宽存储器访问如高速公路般畅通无阻，保证数据高效流动
传输	灵活的数据传输能力是穿针引线的关键，使模型训练过程更加顺畅
功耗与散热	高性能计算往往伴随着高热量产生，低功耗、良好的散热设计至关重要，避免过热导致性能下降甚至芯片损坏
精度	训练阶段要求芯片具备高精度计算能力，确保模型参数的准确无误，为模型训练奠定坚实基础
灵活性	训练芯片需要兼容各类模型和算法，适应不断发展的 AI 技术
可扩展性	面对日益庞大的模型和数据集，芯片需具备强大的扩展能力，满足不断增长的计算需求
成本	高昂的价格可能会限制芯片的应用范围，合理的价格策略是芯片赢得市场的重要因素

昇腾 Ascend NPU、谷歌 TPU、Graphcore IPU 等专门为 AI 训练设计的芯片，正朝着上述目标不断迈进，为大规模 AI 模型训练提供强劲动力。仓库 02Hardware/05Abroad/04TPUIntrol.md 中 TPU v2/v3/v4 及 TPU Pod 的发展正是"算力、存储、传输、可扩展性"四要素的典型案例：TPU Pod 装备高速互联网络，保证 TPU 设备之间无缝的数据传输与数据、模型层的高效扩展，从 TPU v2 Pod 的 11.5 万亿次运算/秒、4 TB HBM，到 TPU v4 的 1200 GB/s 内存带宽，训练算力与扩展能力逐代跃升。

推理芯片

在推理阶段，AI 芯片需要在功耗、成本和实时性等方面进行优化，以满足不同应用场景的需求：

• 云端推理：通常对性能和吞吐量要求较高，需要使用高性能的 AI 芯片，如 GPU、FPGA 等。
• 边缘和端侧推理：对功耗和成本更加敏感，需要使用低功耗、低成本的 AI 芯片，如专门为移动和嵌入式设备设计的 NPU、TPU 等。

相较于训练芯片在"幕后"的默默付出，推理芯片则站在了 AI 应用的前沿，将训练好的模型转化为现实世界的智能服务。如果说训练芯片是 AI 技术的发动机，那么推理芯片就是将这股力量输送到应用场景的传动装置。

国内热衷推理芯片的原因可以归结为政策驱动和市场需求两大因素：

• 政策方面：国家层面高度重视 AI 产业发展，出台了一系列扶持政策，鼓励企业研发国产 AI 芯片，这为国内推理芯片厂商提供了良好的发展机遇。
• 市场需求方面：随着 AI 应用的普及，智能手机、智能家居、自动驾驶等领域对推理芯片有着巨大的需求。

推理芯片的关键因素与训练芯片相比，在性能、功耗、成本等方面有着不同的要求：

因素	要求
性能	需要支持多种模型和算法，并能够以较低的延迟完成推理任务
功耗	通常部署在边缘设备上，需要较低的功耗以延长设备续航时间
成本	需要价格亲民，才能被更广泛地应用
灵活性	需要能够快速部署和更新模型，以适应不断变化的需求
安全性	需要具备安全防护能力，防止数据泄露和安全攻击

随着 AI 应用的不断发展，AI 芯片的异构集成趋势也越来越明显。单一的芯片架构难以满足日益多样化的 AI 应用需求，因此，集成多种异构计算单元的 AI 芯片成为了主流方向。例如，集成 CPU、GPU、NPU 等多种计算单元的 AI 芯片，可以在训练和推理任务中发挥各自的优势，提供更加全面和高效的 AI 计算能力。这与 02Hardware/02ChipBase/README.md 中"迈入超异构并行 CPU、GPU、NPU 并存的计算系统架构黄金十年"的课程主线完全呼应。

目前，国内推理芯片市场呈现出百花齐放的局面，涌现出寒武纪、地平线、百度等一批优秀厂商。这些厂商推出的推理芯片在性能、功耗、成本等方面取得了显著进步，并逐渐开始在智能手机、智能家居、自动驾驶等领域实现商用。

此外，AI 芯片的部署方式也在不断演进。传统的云端部署模式面临着数据传输和隐私安全等挑战，因此边缘和端侧部署成为了 AI 应用的重要趋势。通过将 AI 芯片和模型部署在边缘设备和终端设备上，可以大大减少数据传输的延迟和带宽压力，提高 AI 应用的实时性和安全性。同时，端侧部署也对 AI 芯片的功耗和成本提出了更高的要求。

AI 芯片技术路线

作为加速应用的 AI 芯片，主要的技术路线有三种：GPU、FPGA、ASIC。三者间的区别如下表与下图所示：

对比维度	GPU	FPGA	ASIC
定制化程度	通用	半定制化	定制化
灵活性	好	好	不好
成本	高	较高	低
编程语言	CUDA/OpenCL	Verilog/VHDL、OpenCL/HLS	/（无专用高级编程语言）
功耗	高	较高	较高
优点	峰值计算能力强，产品成熟	平均性能较高，功耗较低，灵活性强	专用性能强，功耗较低
缺点	整体算力利用率低，功耗高	量产单价高，峰值算力低，上层软件构筑难	上层软件构筑难，针对具体应用，泛化性差
应用场景	云端训练、云端推理	云端推理、终端推理	云端训练与推理、终端推理

GPU：最主流的 AI 加速方案

GPU 由于其强大的并行计算能力，已经成为目前最主流的 AI 芯片加速方案。GPU 厂商不断推出专门针对 AI 加速的 GPU 产品，如英伟达的 Tesla 系列，AMD 的 Radeon Instinct 系列等。为了进一步提高 GPU 在 AI 领域的性能，厂商们也在不断对 GPU 的架构进行优化，如英伟达推出了专门为深度学习优化的 Tensor Core 技术，可以大幅提高矩阵运算的速度。

下图为 GPU 架构概略图，我们可以看到其有非常多的计算单元，这为其提供了非常快速的数据并行处理能力。图中右侧展示了以 GPC（图形处理集群）为基本组织单元、集成 L2 Cache 与内存控制器的真实 GPU 架构（如 PCI Express 3.0 Host Interface、GigaThread Engine、RT Core 等单元的布局）。

但是，GPU 作为一种通用计算芯片，在功耗和成本方面还有进一步优化的空间。此外，GPU 编程的难度也较高，对开发者的要求较高。仓库 02Hardware/03GPUBase/README.md 中对 GPU 工作原理、计算吞吐与存储传输带宽指标、英伟达十年 5 代架构演进有更深入的展开，可作为延伸阅读。

FPGA：可重构的灵活加速器

FPGA 作为一种可重构的硬件，在 AI 加速领域也有广泛的应用。与 GPU 相比，FPGA 的优势在于更低的功耗和更高的灵活性。FPGA 厂商也在不断推出针对 AI 应用的 FPGA 产品，如 Xilinx 的 Alveo 系列，Intel 的 Stratix 系列等。这些产品通常集成了更多的数学运算单元，以及更大的片上存储和更高的内存带宽，以满足 AI 应用的需求。

下图为 FPGA 架构概略图，其主要包括逻辑块、I/O 块和互连网络。每个逻辑块可以进行独立的逻辑运算，I/O 块用于输入和输出数据，互连网络用于连接各个逻辑块和 I/O 块。左侧还展示了 FPGA 的典型开发流程：Design Entry（设计输入）→ Behavioral Simulation（功能仿真）→ Design Synthesis（设计综合）→ Design Implementation（设计实现，含 Translate、Mapping、Place & Route）→ Static Timing Analysis（静态时序分析）→ Device Programming（器件编程）→ In Circuit Verification（在线验证），体现了 FPGA "软件定义硬件、可反复重构"的工程特性。

但是，FPGA 的编程难度较高，通常需要硬件描述语言（如 Verilog 或 VHDL）的知识。此外 FPGA 的成本也较高，在大规模部署时可能会受到限制。

ASIC：极致性能与能效的专用芯片

ASIC 作为专用芯片，可以针对特定的 AI 算法和应用场景进行优化，提供最高的性能和能效。许多科技巨头都在开发自己的 AI 专用 ASIC，如谷歌的 TPU、华为的昇腾 Ascend NPU 系列等。与 GPU 和 FPGA 相比，ASIC 可以在计算速度、功耗、成本等方面做到更加极致的优化。

下图为 ASIC 架构概略图，其包括接口模块、存储器接口、统一缓冲区、计算单元、数据处理单元、控制单元等，旨在提供高效的计算和数据处理能力。图中左侧展示了 AI 类 ASIC 的典型数据通路：PCIe Interface（14 GiB/s）→ Host Interface → Unified Buffer（统一缓存/本地激活存储器，10 GiB/s）→ Weight FIFO（权重 FIFO，30 GiB/s）→ Matrix Multiply Unit（矩阵乘法单元，每周期 64K 运算量，输出带宽 165 GiB/s）→ Accumulators（累加器）→ Activation（激活单元）→ Normalize/Pool（归一化/池化单元），并由多个 Control 单元与 Instr 指令模块协调。右侧给出了 ASIC 芯片的面积分布占比，其中 Local Unified Buffer 与 Matrix Multiply Unit 各占 29%，累加器占 6%、激活流水线占 6%，清晰地揭示了 ASIC "把面积花在数据搬运与矩阵计算上"的设计取向。

但是，ASIC 的设计周期较长，前期投入大，灵活性也较差。此外，ASIC 芯片通常需要配合专门的软件栈和开发工具，生态系统的建设也是一大挑战。以华为昇腾为例，02Hardware/06Domestic/08AscendBase.md 明确指出昇腾计算软硬件包括硬件系统、基础软件和应用使能：硬件层是基于达芬奇内核的昇腾处理器及嵌入式模组、板卡、小站、服务器、集群等系列硬件；软件层则是从下往上依次为 CANN 异构计算架构（含驱动、运行时、加速库、编译器、调试调优工具、开发链 MindStudio 和运维管理工具）、开源 MindSpore 框架以及业界流行框架 PyTorch 的对接。这正是 ASIC "软件生态决定能否用起来"的现实注脚。

此外，昇腾产品以昇腾 AI 处理器的 PCIe 工作模式区分，分为 RC（Root Complex）模式和 EP（Endpoint）模式：如果 PCIe 工作在主模式，可以扩展外设，则称为 RC 模式；如果 PCIe 工作在从模式，则称为 EP 模式。EP 模式通常由 Host 侧作为主端、Device 侧作为从端，客户的 AI 业务程序运行在 Host 系统中，昇腾产品作为 Device 系统以 PCIe 从设备接入 Host 系统，通过 PCIe 通道交互，将 AI 任务加载到 Device 侧的昇腾 AI 处理器中运行——这为理解 ASIC 芯片在真实服务器中的部署形态提供了具体参照。

AI 芯片应用场景

1. AI 计算中心

AI 计算中心是 AI 芯片的重要应用场景之一。随着 AI 技术的不断发展，对计算能力的需求也在不断增长。为了满足这一需求，英伟达、华为、谷歌等头部厂商都相继发布了针对 AI 计算中心的 AI 训练加速器。这些加速器具有高性能、高能效的特点，可以大大提高 AI 模型的训练速度。

在 AI 计算中心中，互联带宽是一个重要的限制因素。目前主流的互联技术是 PCIe v4，但其功率限制在 300W 左右，已经无法满足日益增长的计算需求。因此，业界对 PCIe v5 的发布充满期待，希望通过更高的互联带宽来突破现有的限制。

除了互联带宽外，各大厂商还发布了高度可扩展的互联技术，可以将数千张加速卡连接在一起。这对于像 Cerebras、GraphCore、Groq、Tesla Dojo 这样的数据流加速器尤为重要，因为这些加速器需要显式/静态编程，或者需要将任务路由到计算硬件上。先进的互联技术使得这些加速器能够适应像 ChatGPT 这样参数量达到千亿级别的大模型。

值得一提的是，虽然 Int8 精度在嵌入式、自主和数据中心推理应用中已经成为默认的数值精度，但在 AI 计算中心中，仍有部分加速器使用 FP16 或 BF16 进行训练或推理，以获得更高的计算精度。关于 Int8/FP16/BF16 等比特位宽的底层机制（整数补码表示、IEEE 754 浮点规格化/非规格化表示与精度取舍），可进一步阅读仓库 02Hardware/01Foundation/06BitWidth.md。

2. 自动驾驶和安防应用

自动驾驶和安防是 AI 芯片的另一个重要应用场景。在自动驾驶领域，AI 芯片可以用于处理车载传感器采集的大量数据，实现对道路环境的实时感知和决策。目前，特斯拉、英伟达、Mobileye 等公司都在积极布局自动驾驶芯片，推动自动驾驶技术的发展和应用。特斯拉的 DOJO 芯片正是为加速自动驾驶系统的训练和推理任务而设计的代表性产品，其详细架构可参考仓库 02Hardware/05Abroad/ 目录下的 DOJO 系列章节。

在安防领域，AI 芯片可以用于智能视频分析、人脸识别、行为分析等任务，提高安防系统的智能化水平。例如，海康威视、大华股份等安防巨头都在加大 AI 芯片的研发和应用力度，推出了一系列智能安防产品和解决方案。

3. IoT 应用

IoT 设备是 AI 芯片的另一个重要应用场景。随着 AI 技术的发展，越来越多的 IoT 设备开始搭载 AI 芯片，实现本地智能处理和决策。2017 年以来，苹果、华为海思、高通、联发科等主要芯片厂商相继发布了支持 AI 加速功能的新一代芯片，推动了 AI 在 IoT 领域的应用。下图以华为智能手机为例展示了 AI 落地 IoT 设备的时间线：从 2012 年的大屏大电池突破，到 2015 年全球首款 16nm 工艺 SoC、2016 年超级快充，再到 2017 年"全球首款搭载移动 AI 的智能手机"、2018 年全球首款 7nm 工艺 SoC 智能手机，直至 2019 年的 5G 折叠屏旗舰，体现了 NPU/AI 加速单元逐步成为消费级终端标配的演进路径。

IoT 设备种类繁多，对 AI 芯片的需求也各不相同。例如，智能音箱对语音识别和自然语言处理的要求较高，而智能摄像头则对图像处理和目标检测的要求较高。因此，IoT 领域的 AI 芯片需要根据具体应用场景进行针对性设计和优化。

小结与思考

1. NPU 和 TPU 等 AI 专用处理器的问世，极大地推动了 AI 技术的发展和应用。这些芯片在架构设计和性能优化方面不断创新，为各种 AI 任务提供了强大的计算支持。从 CPU 的通用均衡，到 GPU 的大规模并行，再到 NPU/TPU 以 AI Core 阵列和脉动阵列直击矩阵运算本质，DSA 思想的每一次落地都对应着明确的场景痛点与工程取舍。

2. 随着 AI 技术的不断发展和应用需求的增长，AI 芯片将迎来更加广阔的发展前景。训练芯片的九大要素（算力、存储、传输、功耗、散热、精度、灵活性、可扩展性、成本）与推理芯片的性能、功耗、成本、灵活性、安全性考量，构成了芯片设计的核心约束；GPU、FPGA、ASIC 三条技术路线在不同场景下各有优劣，而 CPU、GPU、NPU 的异构集成与边缘端侧部署正成为主流趋势。各大科技巨头和芯片厂商将继续加大在 AI 芯片领域的投入和创新，推动 AI 技术的进一步发展和普及。

延伸阅读

本文是 02Hardware/02ChipBase/README.md 所定义的《AI 芯片基础》课程的第六讲（NPU 基础），与其同系列的还有 CPU 基础、CPU 指令集架构、CPU 计算本质、CPU 计算时延、GPU 基础以及超异构计算等章节。若希望继续深入，建议按以下路径阅读仓库内相关章节：

• 02Hardware/README.md：AI 硬件体系架构概述，把握 CPU → GPU → NPU → 超异构的整体课程脉络；
• 02Hardware/01Foundation/06BitWidth.md：比特位宽与 Int8/FP16/BF16 精度机制，理解 AI 芯片数值精度的底层原理；
• 02Hardware/03GPUBase/：GPU 工作原理与英伟达架构演进（含 Tensor Core 详解）；
• 02Hardware/05Abroad/04TPUIntrol.md：谷歌 TPU 历代芯片参数、脉动阵列与 TPU Pod 集群；
• 02Hardware/06Domestic/08AscendBase.md：华为昇腾全栈架构、Atlas 硬件产品线及 PCIe RC/EP 部署模式。