Google.Cloud.AIPlatform.V1 3.15.0版本发布:AI平台功能全面升级
Google.Cloud.AIPlatform.V1是Google Cloud AI平台服务的.NET客户端库,为开发者提供了访问Google AI基础设施的强大能力。本次3.15.0版本带来了多项重要更新,特别是在代码执行工具、特征视图服务账户、推理引擎等方面有显著增强。
核心功能增强
代码执行工具API开放
新版本首次向v1 API公开了代码执行工具功能。这一功能允许开发者在AI平台中直接执行代码片段,为模型训练、数据处理等场景提供了更直接的交互方式。通过此API,开发者可以构建更灵活的AI工作流,实现代码与AI服务的无缝集成。
特征视图服务账户支持
在特征视图(FeatureView)服务中,现在支持使用特定服务账户进行身份验证和授权。这一改进增强了安全性,允许更细粒度的权限控制。企业用户可以根据最小权限原则,为不同的特征视图操作配置不同的服务账户,实现更安全的访问管理。
多模态令牌计数分析
针对生成式AI API,新版本增加了按模态(token)细分的计数功能。开发者现在可以获取不同模态(如文本、图像等)的详细令牌使用情况统计。这对于成本优化和资源规划特别有价值,特别是在处理复杂的多模态AI模型时。
推理与运行时改进
推测性解码支持
在部署模型(DeployedModel)协议中新增了推测性解码(speculative decoding)规范。这项技术可以显著提高生成式模型的推理速度,通过预测可能的输出序列来减少计算延迟。对于需要实时响应的应用场景,如聊天机器人或内容生成服务,这一功能将带来明显的性能提升。
推理引擎正式发布
推理引擎(Reasoning Engine)v1版本的GAPIC正式发布。推理引擎为复杂逻辑推理任务提供了专用基础设施,特别适合需要多步推理或知识整合的AI应用。开发者现在可以利用这一功能构建更智能、更具逻辑性的AI解决方案。
笔记本运行时增强
笔记本运行时(NotebookRuntime)功能获得了多项硬件配置支持:
- 新增了machine_spec字段,允许指定运行时的机器规格
- 支持data_persistent_disk_spec,为数据存储提供持久化磁盘配置
- 网络规格(network_spec)支持,便于网络隔离和配置
- 增加了euc_config和shielded_vm_config,增强了安全性和合规性选项
同时,文档中也标注了一些即将废弃的功能,包括NotebookRuntimeTemplate中的is_default和服务账户相关字段,开发者应关注这些变化并适时调整代码。
工具配置增强
在ToolConfig v1中新增了retrieval_config配置项,为工具提供了更灵活的检索功能配置选项。这一改进使得开发者可以更精确地控制工具如何检索和使用外部数据,对于构建知识密集型AI应用特别有价值。
总结
Google.Cloud.AIPlatform.V1 3.15.0版本通过多项功能增强,进一步巩固了Google Cloud AI平台作为企业级AI解决方案的地位。从代码执行到推理优化,从多模态分析到安全配置,这些更新为开发者构建更强大、更高效的AI应用提供了坚实基础。特别是推理引擎的正式发布和推测性解码的支持,将显著提升生成式AI应用的性能和响应能力。开发者可以充分利用这些新功能,构建下一代智能应用。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0190
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0113
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
omega-aiOmega-AI:基于java打造的深度学习框架,帮助你快速搭建神经网络,实现模型推理与训练,引擎支持自动求导,多线程与GPU运算,GPU支持CUDA,CUDNN。Java04
llm-universe本项目是一个面向小白开发者的大模型应用开发教程,在线阅读地址:https://datawhalechina.github.io/llm-universe/Jupyter Notebook08