使用 Meta 家族模型构建生成式 AI 应用:Llama 3.1 函数调用与 Llama 3.2 多模态实战(generative-ai-for-beginners 第 21 课)

原创2026-09-09 13:44:061,425 阅读
文章标签:人工智能大模型教程示例工程提示工程RAGAI Agent微调向量数据库教育

使用 Meta 家族模型构建生成式 AI 应用:Llama 3.1 函数调用与 Llama 3.2 多模态实战(generative-ai-for-beginners 第 21 课)

本课是 generative-ai-for-beginners 课程的第 21 讲(对应 21-meta/README.md),聚焦 Meta 家族的 "Llama Herd" 两大主力模型:Llama 3.1 与 Llama 3.2。你将系统掌握两者在上下文窗口、输出长度、多语言能力、原生函数调用(Function Calling)与多模态理解(Vision)上的核心差异,并通过 azure-ai-inference 编写可运行的 Python 代码,在 Microsoft Foundry Models(原 GitHub Models)服务上完成工具调用与图文联合推理的真实实验。

Meta 家族模型一览:Llama 3.1 与 Llama 3.2

Meta 家族("Llama Herd")在本课中重点介绍两个系列,均以多种参数规模变体提供,可通过统一端点与 API Key 在模型市场中调用(本仓库在 00-course-setup/03-providers.md 中给出了 Microsoft Foundry Models、GitHub Models 等提供商的接入说明)。课程覆盖的模型变体如下:

模型系列 变体 定位
Llama 3.1 70B Instruct 大规模开源 LLM,通用指令跟随
Llama 3.1 405B Instruct 旗舰级开源 LLM,复杂任务与工具调用
Llama 3.2 11B Vision Instruct 中小规模多模态模型,灵活部署
Llama 3.2 90B Vision Instruct 大规模多模态模型,图文联合推理

注意:Llama 3 同样在模型市场中可用,但不在本课讨论范围之内;本课仅深入 Llama 3.1 与 3.2。

配套的动手实验位于 21-meta/python/githubmodels-assignment.ipynb,它是一个可直接运行的 Jupyter Notebook,完整复刻了本课两个核心代码示例(函数调用与多模态分析),并内置了依赖安装单元。下文将以该 Notebook 与课程文档为主线展开。

环境准备:依赖安装与凭据配置

在运行任何示例前,需要安装两个 Azure 推理 SDK 依赖(Notebook 中通过 %pip 安装,等价于命令行 pip install azure-core azure-ai-inference):

%pip install azure-core
%pip install azure-ai-inference

其中 azure-ai-inference 提供 ChatCompletionsClient 与各类消息模型,azure-core 提供 AzureKeyCredential 凭据类。

凭据方面,本仓库约定的配置方式(详见 00-course-setup/03-providers.md)是:从 Microsoft Foundry 项目的 Overview 页面获取端点与密钥,并写入 .env 文件(由根目录 .env.copy 复制而来),对应变量为:

AZURE_INFERENCE_ENDPOINT='<add your Microsoft Foundry project endpoint here>'
AZURE_INFERENCE_CREDENTIAL='<add your Microsoft Foundry Models API key here>'

课程代码通过 os.environ[...] 读取这两个环境变量,并统一指向推理服务端点:

token = os.environ["AZURE_INFERENCE_CREDENTIAL"]
endpoint = os.environ["AZURE_INFERENCE_ENDPOINT"]

client = ChatCompletionsClient(
    endpoint=endpoint,
    credential=AzureKeyCredential(token),
)

如果使用 GitHub Models(服务将于 2026 年 7 月底退役,官方建议迁移至 Microsoft Foundry Models),则对应写法为读取 GITHUB_TOKEN 并使用固定端点 https://models.inference.ai.azure.com。课程的两个示例均以 ChatCompletionsClient 为统一入口,仅需切换 model_name 即可在 Llama 3.1 与 3.2 之间切换。

Llama 3.1:405B 参数的开源 LLM 旗舰

Llama 3.1 以 405B 参数跻身开源 LLM 阵营,是上一代 Llama 3 的升级版本,核心改进体现在三方面:

  • 更大的上下文窗口:从 8k tokens 提升至 128k tokens;
  • 更大的最大输出 tokens:从 2048 提升至 4096;
  • 更好的多语言支持:源于训练 tokens 数量的大幅增加。

这些升级使 Llama 3.1 能够承载更复杂的生成式 AI 应用场景,课程重点列举了三类:

  • 原生函数调用(Native Function Calling):调用 LLM 工作流之外的外部工具与函数的能力;
  • 更优的 RAG 性能:更高的上下文窗口使检索增强生成(RAG)可容纳更多检索结果与知识片段(RAG 的原理与实操可参见 15-rag-and-vector-databases/README.md);
  • 合成数据生成(Synthetic Data Generation):为微调(Fine-tuning,见 18-fine-tuning/README.md)等任务高效构造训练数据。

原生函数调用:内置工具与自定义工具

Llama 3.1 经过专门微调,在函数/工具调用上更为高效。基于用户提示,模型可以自行判断需要使用哪些内置工具:

  • Brave Search:通过 Web 搜索获取实时信息,例如查询天气;
  • Wolfram Alpha:执行复杂数学计算,无需自行编写函数。

此外,你还可以定义自定义工具交由 LLM 调用——这一点与本课程第 11 讲 11-integrating-with-function-calling/README.md 的函数调用主题一脉相承,区别在于 Llama 3.1 将其作为原生能力内置于模型。

工具调用示例:让模型决定何时调用 Brave Search

以下代码演示了完整的调用链路:

  1. 在系统提示(System Prompt)中声明可用工具 brave_search 与 wolfram_alpha;
  2. 发送一条询问某城市天气的用户提示;
  3. 模型将返回一条指向 Brave Search 的工具调用,形如 <|python_tag|>brave_search.call(query="Stockholm weather")。
import os
from azure.ai.inference import ChatCompletionsClient
from azure.ai.inference.models import AssistantMessage, SystemMessage, UserMessage
from azure.core.credentials import AzureKeyCredential

# Get these from your Microsoft Foundry project's "Overview" page
token = os.environ["AZURE_INFERENCE_CREDENTIAL"]
endpoint = os.environ["AZURE_INFERENCE_ENDPOINT"]
model_name = "Meta-Llama-3.1-405B-Instruct"

client = ChatCompletionsClient(
    endpoint=endpoint,
    credential=AzureKeyCredential(token),
)


tool_prompt=f"""
<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Environment: ipython
Tools: brave_search, wolfram_alpha
Cutting Knowledge Date: December 2023
Today Date: 23 July 2024

You are a helpful assistant<|eot_id|>
"""

messages = [
    SystemMessage(content=tool_prompt),
    UserMessage(content="What is the weather in Stockholm?"),

]

response = client.complete(messages=messages, model=model_name)

print(response.choices[0].message.content)

需要特别说明的是,这个示例只完成了"工具调用"这一环节:模型输出的 <|python_tag|>brave_search.call(query="Stockholm weather") 是发起调用的指令文本,若要真正取得查询结果,你还需要:

  • 在 Brave API 页面注册免费账号并取得 API Key;
  • 自行实现 brave_search 函数本身(发起 HTTP 请求并解析返回)。

也就是说,Llama 3.1 负责"判断何时调用、调用哪个工具、传什么参数",而工具的实际执行仍由你的应用代码完成。值得一提的是,仓库中的 shared/python/api_utils.py 提供了带超时、重试与错误处理的 make_safe_request 封装,可作为实现这类外部工具函数时的参考基础。

此外,系统提示中的 Environment: ipython 与 Llama 特定的 <|begin_of_text|>、<|start_header_id|>system<|end_header_id|>、<|eot_id|> 标记是 Llama 3.x 系列所使用的 Chat Template 语法,声明了运行环境、可用工具、知识截止日期与当前日期,模型据此生成规范的工具调用文本。

Llama 3.2:把多模态带入开源模型

尽管身为 LLM,Llama 3.1 的一个明显局限是缺乏多模态能力——它无法把图片等非文本输入当作提示并给出响应。这正是 Llama 3.2 的核心卖点之一,其特性还包括:

  • 多模态(Multimodality):能够同时理解文本与图像提示;
  • 中小规模变体(11B 与 90B):提供灵活的部署选项;
  • 纯文本变体(1B 与 3B):支持在边缘/移动设备上以低延迟部署。

多模态支持被视为开源模型领域的一大步。课程使用 Llama 3.2 90B Vision Instruct 模型,同时输入图片与文本提示,让模型对图片进行描述分析。示例所用的输入图片正是仓库中的 21-meta/python/sample.jpg:

Llama 3.2 多模态演示输入图片

多模态推理示例:图文联合输入

import os
from azure.ai.inference import ChatCompletionsClient
from azure.ai.inference.models import (
    SystemMessage,
    UserMessage,
    TextContentItem,
    ImageContentItem,
    ImageUrl,
    ImageDetailLevel,
)
from azure.core.credentials import AzureKeyCredential

# Get these from your Microsoft Foundry project's "Overview" page
token = os.environ["AZURE_INFERENCE_CREDENTIAL"]
endpoint = os.environ["AZURE_INFERENCE_ENDPOINT"]
model_name = "Llama-3.2-90B-Vision-Instruct"

client = ChatCompletionsClient(
    endpoint=endpoint,
    credential=AzureKeyCredential(token),
)

response = client.complete(
    messages=[
        SystemMessage(
            content="You are a helpful assistant that describes images in details."
        ),
        UserMessage(
            content=[
                TextContentItem(text="What's in this image?"),
                ImageContentItem(
                    image_url=ImageUrl.load(
                        image_file="sample.jpg",
                        image_format="jpg",
                        detail=ImageDetailLevel.LOW)
                ),
            ],
        ),
    ],
    model=model_name,
)

print(response.choices[0].message.content)

与 Llama 3.1 的纯文本示例相比,多模态示例的关键差异在于 UserMessage.content 从字符串变为内容项列表(content items):

  • TextContentItem(text="What's in this image?") 承载文本问题;
  • ImageContentItem(image_url=ImageUrl.load(...)) 承载图片输入,其中:
    • image_file 指定本地图片路径;
    • image_format 声明图片格式(此处为 jpg);
    • detail 通过 ImageDetailLevel.LOW 控制送入模型的图像细节等级,LOW 档可显著降低视觉 tokens 消耗,适合"图片里有什么"这类全局性描述任务。

ImageUrl.load 负责从本地文件加载并编码图片,ImageDetailLevel 则用于权衡推理成本与细节精度——若任务需要识别图片中的细小文字或物体,可升级为更高细节等级。

两个模型如何选择:场景对照

综合本课内容,两个模型的核心差异可以归纳为下表,便于按应用场景选型:

维度 Llama 3.1 (405B Instruct) Llama 3.2 (90B Vision Instruct)
输入形态 纯文本 文本 + 图像
上下文窗口 128k tokens 由部署配置决定(多模态需预留视觉 tokens)
标志性能力 原生函数调用、RAG、合成数据生成 图文多模态推理、边缘部署变体
典型场景 工具编排、Agent、长文档 RAG 图像理解、视觉问答、图文混合任务

在课程体系中,本课是"按厂商家族深入模型能力"序列(Mistral、Meta)的一部分:第 11 讲 11-integrating-with-function-calling/README.md 讲授函数调用的一般范式,本课则将之落地到 Llama 3.1 的原生工具调用上;第 15 讲 15-rag-and-vector-databases/README.md 的 RAG 实践可借助 128k 上下文窗口获得更好的检索效果;第 18 讲 18-fine-tuning/README.md 的微调数据则可由 Llama 3.1 的合成数据生成能力辅助构造。

常见问题与注意事项

  • 工具调用 ≠ 工具执行:模型只输出 <|python_tag|>... 形式的调用指令,真正执行外部函数(如调用 Brave API)需要你注册相应服务并自行实现函数,示例中仅演示调用决策环节。
  • 凭据安全:API Key 应通过环境变量注入(如 .env 文件或 Codespaces Secrets),切勿硬编码进代码或提交到仓库,具体流程见 00-course-setup/03-providers.md。
  • 服务迁移:课程文档标注 GitHub Models 服务将于 2026 年 7 月底退役,新实验建议直接使用 Microsoft Foundry Models 的 AZURE_INFERENCE_CREDENTIAL / AZURE_INFERENCE_ENDPOINT 变量组合(Notebook 已按此更新)。
  • 图片细节等级:多模态请求中的 detail 参数直接影响视觉 tokens 消耗与细节还原度,简单描述任务使用 LOW 更经济。
  • 模型名区分:不同提供商的模型命名大小写可能不一致(如 Meta-Llama-3.1-405B-Instruct 与 meta-llama-3.1-405b-instruct),请以模型市场目录中的实际名称为准。
登录后查看全文
generative-ai-for-beginners