使用 Meta 家族模型构建生成式 AI 应用:Llama 3.1 函数调用与 Llama 3.2 多模态实战(generative-ai-for-beginners 第 21 课)
使用 Meta 家族模型构建生成式 AI 应用:Llama 3.1 函数调用与 Llama 3.2 多模态实战(generative-ai-for-beginners 第 21 课)
本课是 generative-ai-for-beginners 课程的第 21 讲(对应 21-meta/README.md),聚焦 Meta 家族的 "Llama Herd" 两大主力模型:Llama 3.1 与 Llama 3.2。你将系统掌握两者在上下文窗口、输出长度、多语言能力、原生函数调用(Function Calling)与多模态理解(Vision)上的核心差异,并通过 azure-ai-inference 编写可运行的 Python 代码,在 Microsoft Foundry Models(原 GitHub Models)服务上完成工具调用与图文联合推理的真实实验。
Meta 家族模型一览:Llama 3.1 与 Llama 3.2
Meta 家族("Llama Herd")在本课中重点介绍两个系列,均以多种参数规模变体提供,可通过统一端点与 API Key 在模型市场中调用(本仓库在 00-course-setup/03-providers.md 中给出了 Microsoft Foundry Models、GitHub Models 等提供商的接入说明)。课程覆盖的模型变体如下:
| 模型系列 | 变体 | 定位 |
|---|---|---|
| Llama 3.1 | 70B Instruct | 大规模开源 LLM,通用指令跟随 |
| Llama 3.1 | 405B Instruct | 旗舰级开源 LLM,复杂任务与工具调用 |
| Llama 3.2 | 11B Vision Instruct | 中小规模多模态模型,灵活部署 |
| Llama 3.2 | 90B Vision Instruct | 大规模多模态模型,图文联合推理 |
注意:Llama 3 同样在模型市场中可用,但不在本课讨论范围之内;本课仅深入 Llama 3.1 与 3.2。
配套的动手实验位于 21-meta/python/githubmodels-assignment.ipynb,它是一个可直接运行的 Jupyter Notebook,完整复刻了本课两个核心代码示例(函数调用与多模态分析),并内置了依赖安装单元。下文将以该 Notebook 与课程文档为主线展开。
环境准备:依赖安装与凭据配置
在运行任何示例前,需要安装两个 Azure 推理 SDK 依赖(Notebook 中通过 %pip 安装,等价于命令行 pip install azure-core azure-ai-inference):
%pip install azure-core
%pip install azure-ai-inference
其中 azure-ai-inference 提供 ChatCompletionsClient 与各类消息模型,azure-core 提供 AzureKeyCredential 凭据类。
凭据方面,本仓库约定的配置方式(详见 00-course-setup/03-providers.md)是:从 Microsoft Foundry 项目的 Overview 页面获取端点与密钥,并写入 .env 文件(由根目录 .env.copy 复制而来),对应变量为:
AZURE_INFERENCE_ENDPOINT='<add your Microsoft Foundry project endpoint here>'
AZURE_INFERENCE_CREDENTIAL='<add your Microsoft Foundry Models API key here>'
课程代码通过 os.environ[...] 读取这两个环境变量,并统一指向推理服务端点:
token = os.environ["AZURE_INFERENCE_CREDENTIAL"]
endpoint = os.environ["AZURE_INFERENCE_ENDPOINT"]
client = ChatCompletionsClient(
endpoint=endpoint,
credential=AzureKeyCredential(token),
)
如果使用 GitHub Models(服务将于 2026 年 7 月底退役,官方建议迁移至 Microsoft Foundry Models),则对应写法为读取 GITHUB_TOKEN 并使用固定端点 https://models.inference.ai.azure.com。课程的两个示例均以 ChatCompletionsClient 为统一入口,仅需切换 model_name 即可在 Llama 3.1 与 3.2 之间切换。
Llama 3.1:405B 参数的开源 LLM 旗舰
Llama 3.1 以 405B 参数跻身开源 LLM 阵营,是上一代 Llama 3 的升级版本,核心改进体现在三方面:
- 更大的上下文窗口:从 8k tokens 提升至 128k tokens;
- 更大的最大输出 tokens:从 2048 提升至 4096;
- 更好的多语言支持:源于训练 tokens 数量的大幅增加。
这些升级使 Llama 3.1 能够承载更复杂的生成式 AI 应用场景,课程重点列举了三类:
- 原生函数调用(Native Function Calling):调用 LLM 工作流之外的外部工具与函数的能力;
- 更优的 RAG 性能:更高的上下文窗口使检索增强生成(RAG)可容纳更多检索结果与知识片段(RAG 的原理与实操可参见 15-rag-and-vector-databases/README.md);
- 合成数据生成(Synthetic Data Generation):为微调(Fine-tuning,见 18-fine-tuning/README.md)等任务高效构造训练数据。
原生函数调用:内置工具与自定义工具
Llama 3.1 经过专门微调,在函数/工具调用上更为高效。基于用户提示,模型可以自行判断需要使用哪些内置工具:
- Brave Search:通过 Web 搜索获取实时信息,例如查询天气;
- Wolfram Alpha:执行复杂数学计算,无需自行编写函数。
此外,你还可以定义自定义工具交由 LLM 调用——这一点与本课程第 11 讲 11-integrating-with-function-calling/README.md 的函数调用主题一脉相承,区别在于 Llama 3.1 将其作为原生能力内置于模型。
工具调用示例:让模型决定何时调用 Brave Search
以下代码演示了完整的调用链路:
- 在系统提示(System Prompt)中声明可用工具
brave_search与wolfram_alpha; - 发送一条询问某城市天气的用户提示;
- 模型将返回一条指向 Brave Search 的工具调用,形如
<|python_tag|>brave_search.call(query="Stockholm weather")。
import os
from azure.ai.inference import ChatCompletionsClient
from azure.ai.inference.models import AssistantMessage, SystemMessage, UserMessage
from azure.core.credentials import AzureKeyCredential
# Get these from your Microsoft Foundry project's "Overview" page
token = os.environ["AZURE_INFERENCE_CREDENTIAL"]
endpoint = os.environ["AZURE_INFERENCE_ENDPOINT"]
model_name = "Meta-Llama-3.1-405B-Instruct"
client = ChatCompletionsClient(
endpoint=endpoint,
credential=AzureKeyCredential(token),
)
tool_prompt=f"""
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
Environment: ipython
Tools: brave_search, wolfram_alpha
Cutting Knowledge Date: December 2023
Today Date: 23 July 2024
You are a helpful assistant<|eot_id|>
"""
messages = [
SystemMessage(content=tool_prompt),
UserMessage(content="What is the weather in Stockholm?"),
]
response = client.complete(messages=messages, model=model_name)
print(response.choices[0].message.content)
需要特别说明的是,这个示例只完成了"工具调用"这一环节:模型输出的 <|python_tag|>brave_search.call(query="Stockholm weather") 是发起调用的指令文本,若要真正取得查询结果,你还需要:
- 在 Brave API 页面注册免费账号并取得 API Key;
- 自行实现
brave_search函数本身(发起 HTTP 请求并解析返回)。
也就是说,Llama 3.1 负责"判断何时调用、调用哪个工具、传什么参数",而工具的实际执行仍由你的应用代码完成。值得一提的是,仓库中的 shared/python/api_utils.py 提供了带超时、重试与错误处理的 make_safe_request 封装,可作为实现这类外部工具函数时的参考基础。
此外,系统提示中的 Environment: ipython 与 Llama 特定的 <|begin_of_text|>、<|start_header_id|>system<|end_header_id|>、<|eot_id|> 标记是 Llama 3.x 系列所使用的 Chat Template 语法,声明了运行环境、可用工具、知识截止日期与当前日期,模型据此生成规范的工具调用文本。
Llama 3.2:把多模态带入开源模型
尽管身为 LLM,Llama 3.1 的一个明显局限是缺乏多模态能力——它无法把图片等非文本输入当作提示并给出响应。这正是 Llama 3.2 的核心卖点之一,其特性还包括:
- 多模态(Multimodality):能够同时理解文本与图像提示;
- 中小规模变体(11B 与 90B):提供灵活的部署选项;
- 纯文本变体(1B 与 3B):支持在边缘/移动设备上以低延迟部署。
多模态支持被视为开源模型领域的一大步。课程使用 Llama 3.2 90B Vision Instruct 模型,同时输入图片与文本提示,让模型对图片进行描述分析。示例所用的输入图片正是仓库中的 21-meta/python/sample.jpg:
多模态推理示例:图文联合输入
import os
from azure.ai.inference import ChatCompletionsClient
from azure.ai.inference.models import (
SystemMessage,
UserMessage,
TextContentItem,
ImageContentItem,
ImageUrl,
ImageDetailLevel,
)
from azure.core.credentials import AzureKeyCredential
# Get these from your Microsoft Foundry project's "Overview" page
token = os.environ["AZURE_INFERENCE_CREDENTIAL"]
endpoint = os.environ["AZURE_INFERENCE_ENDPOINT"]
model_name = "Llama-3.2-90B-Vision-Instruct"
client = ChatCompletionsClient(
endpoint=endpoint,
credential=AzureKeyCredential(token),
)
response = client.complete(
messages=[
SystemMessage(
content="You are a helpful assistant that describes images in details."
),
UserMessage(
content=[
TextContentItem(text="What's in this image?"),
ImageContentItem(
image_url=ImageUrl.load(
image_file="sample.jpg",
image_format="jpg",
detail=ImageDetailLevel.LOW)
),
],
),
],
model=model_name,
)
print(response.choices[0].message.content)
与 Llama 3.1 的纯文本示例相比,多模态示例的关键差异在于 UserMessage.content 从字符串变为内容项列表(content items):
TextContentItem(text="What's in this image?")承载文本问题;ImageContentItem(image_url=ImageUrl.load(...))承载图片输入,其中:image_file指定本地图片路径;image_format声明图片格式(此处为jpg);detail通过ImageDetailLevel.LOW控制送入模型的图像细节等级,LOW档可显著降低视觉 tokens 消耗,适合"图片里有什么"这类全局性描述任务。
ImageUrl.load 负责从本地文件加载并编码图片,ImageDetailLevel 则用于权衡推理成本与细节精度——若任务需要识别图片中的细小文字或物体,可升级为更高细节等级。
两个模型如何选择:场景对照
综合本课内容,两个模型的核心差异可以归纳为下表,便于按应用场景选型:
| 维度 | Llama 3.1 (405B Instruct) | Llama 3.2 (90B Vision Instruct) |
|---|---|---|
| 输入形态 | 纯文本 | 文本 + 图像 |
| 上下文窗口 | 128k tokens | 由部署配置决定(多模态需预留视觉 tokens) |
| 标志性能力 | 原生函数调用、RAG、合成数据生成 | 图文多模态推理、边缘部署变体 |
| 典型场景 | 工具编排、Agent、长文档 RAG | 图像理解、视觉问答、图文混合任务 |
在课程体系中,本课是"按厂商家族深入模型能力"序列(Mistral、Meta)的一部分:第 11 讲 11-integrating-with-function-calling/README.md 讲授函数调用的一般范式,本课则将之落地到 Llama 3.1 的原生工具调用上;第 15 讲 15-rag-and-vector-databases/README.md 的 RAG 实践可借助 128k 上下文窗口获得更好的检索效果;第 18 讲 18-fine-tuning/README.md 的微调数据则可由 Llama 3.1 的合成数据生成能力辅助构造。
常见问题与注意事项
- 工具调用 ≠ 工具执行:模型只输出
<|python_tag|>...形式的调用指令,真正执行外部函数(如调用 Brave API)需要你注册相应服务并自行实现函数,示例中仅演示调用决策环节。 - 凭据安全:API Key 应通过环境变量注入(如
.env文件或 Codespaces Secrets),切勿硬编码进代码或提交到仓库,具体流程见 00-course-setup/03-providers.md。 - 服务迁移:课程文档标注 GitHub Models 服务将于 2026 年 7 月底退役,新实验建议直接使用 Microsoft Foundry Models 的
AZURE_INFERENCE_CREDENTIAL/AZURE_INFERENCE_ENDPOINT变量组合(Notebook 已按此更新)。 - 图片细节等级:多模态请求中的
detail参数直接影响视觉 tokens 消耗与细节还原度,简单描述任务使用LOW更经济。 - 模型名区分:不同提供商的模型命名大小写可能不一致(如
Meta-Llama-3.1-405B-Instruct与meta-llama-3.1-405b-instruct),请以模型市场目录中的实际名称为准。
