Google AI JavaScript SDK 使用教程
1. 项目介绍
Google AI JavaScript SDK 是一个专为 JavaScript 开发者设计的工具包,旨在简化与 Google Gemini API 的集成。Gemini API 提供了访问由 Google DeepMind 创建的 Gemini 模型的能力。这些模型从设计之初就支持多模态处理,能够无缝地处理文本、图像和代码。
该 SDK 主要用于 Node.js 和 TypeScript 环境,帮助开发者快速构建基于 Gemini 模型的应用。需要注意的是,直接在客户端应用中使用该 SDK 仅推荐用于原型开发。如果涉及到计费,强烈建议在服务器端调用 Gemini API,以确保 API 密钥的安全。
2. 项目快速启动
安装 SDK
首先,通过 npm 安装 Google AI JavaScript SDK:
npm install @google/generative-ai
初始化模型
在项目中引入 SDK 并初始化模型:
const [ GoogleGenerativeAI ] = require("@google/generative-ai");
const genAI = new GoogleGenerativeAI(process.env.API_KEY);
const model = genAI.getGenerativeModel({ model: "gemini-1.5-flash" });
运行提示
使用模型生成内容:
const prompt = "Does this look store-bought or homemade?";
const image = {
inlineData: {
data: Buffer.from(fs.readFileSync("cookie.png")).toString("base64"),
mimeType: "image/png"
}
};
const result = await model.generateContent({prompt, image});
console.log(result.response.text());
3. 应用案例和最佳实践
文本生成
使用 Gemini 模型生成文本内容:
const prompt = "Write a short story about a robot learning to cook.";
const result = await model.generateContent({prompt});
console.log(result.response.text());
图像分析
结合图像和文本提示进行分析:
const prompt = "Describe the image in detail.";
const image = {
inlineData: {
data: Buffer.from(fs.readFileSync("landscape.jpg")).toString("base64"),
mimeType: "image/jpeg"
}
};
const result = await model.generateContent({prompt, image});
console.log(result.response.text());
代码生成
生成或优化代码片段:
const prompt = "Generate a function to sort an array of numbers in JavaScript.";
const result = await model.generateContent({prompt});
console.log(result.response.text());
4. 典型生态项目
1. Google AI Studio
Google AI Studio 是一个集成开发环境,专门用于构建和部署 AI 模型。它提供了丰富的工具和资源,帮助开发者快速上手并优化他们的 AI 项目。
2. Google Cloud AI Platform
Google Cloud AI Platform 提供了一个全面的平台,支持从模型训练到部署的全流程。它与 Google AI JavaScript SDK 无缝集成,使得开发者可以在云端高效地管理和扩展他们的 AI 应用。
3. TensorFlow.js
TensorFlow.js 是一个开源库,允许在浏览器和 Node.js 中运行机器学习模型。它与 Google AI JavaScript SDK 结合使用,可以进一步提升应用的性能和功能。
通过这些生态项目,开发者可以构建更加复杂和强大的 AI 应用,充分利用 Google 提供的先进技术和资源。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0191
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0114
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
omega-aiOmega-AI:基于java打造的深度学习框架,帮助你快速搭建神经网络,实现模型推理与训练,引擎支持自动求导,多线程与GPU运算,GPU支持CUDA,CUDNN。Java04
llm-universe本项目是一个面向小白开发者的大模型应用开发教程,在线阅读地址:https://datawhalechina.github.io/llm-universe/Jupyter Notebook08