Gemini Embedding 2：Google 的原生多模态向量模型，工程上怎么用？

过去一年我越来越确定：很多 RAG/语义搜索体验差，不是因为 LLM 不够强，而是你的“向量层”不够统一。

我们一直在用“文本 embedding + OCR + ASR + 图片特征/字幕拼装”的方式，把世界强行压成一堆文本再检索。管线越长，误差越多；多模态数据越丰富，工程越痛苦。

2026 年 3 月 10 日，Google 发布 Gemini Embedding 2，主打一个事情：原生多模态 embedding，把文本、图片、音频、视频、PDF 直接映射进同一个向量空间（Public Preview）。对做多媒体检索、跨模态推荐、以及“真正的多模态 RAG”的团队来说，这可能是你今年最值得试的一块基础设施。

说明：本文以工程落地为中心，不复述宣传词；所有规格与限制以官方文档为准（预览期随时可能调整）。

先给结论：它解决了什么工程问题？

Gemini Embedding 2 的核心价值不是“更高分”，而是减少管线与对齐成本：

统一语义空间：文本/图像/音频/视频/PDF 都能进同一个 embedding space，天然支持“用文字搜图、用图搜视频、用音频片段搜相关文档”等跨模态检索。
交错输入（interleaved）：你可以把“图片 + 文字说明”作为一次输入，让向量更接近真实业务语义（而不是先做 caption 再 embed）。
维度可调：默认 3072 维，同时支持把向量缩到 1536 / 768 等，给你“质量 vs 存储/成本”的可控旋钮。

30 秒规格速览（建议收藏）

项目	Gemini API / Vertex AI（官方信息）
模型 ID	`gemini-embedding-2-preview`
输入模态	Text / Image / Video / Audio / PDF
输入 token 上限	8,192
输出维度	支持 128–3072（默认/推荐 3072；常用推荐 3072/1536/768）
图片限制	最多 6 张/次（PNG/JPEG）
PDF 限制	1 个文件/次，最多 6 页
视频限制	官方博文给到最长 120 秒；Vertex AI 进一步区分：带音频 80s / 无音频 120s
音频限制	1 个/次，最长 80 秒（MP3/WAV）
状态与可用区域	Public Preview；Vertex AI 文档显示可用区域为 `us-central1`
知识截止（Vertex）	2025 年 11 月

“原生多模态 embedding”到底意味着什么？

如果你以前做过多模态检索，大概率遇到过两类痛：

空间不一致：文本向量、图像向量、音频向量来自不同模型，彼此距离不可比；你只能“先转换成文本”或做复杂融合。
对齐脆弱：你用 OCR/ASR/caption 把图片/音频“翻译成文本”，但一旦字幕缺失或识别错误，检索就断了。

Gemini Embedding 2 的做法是：把多种媒体都映射到同一个 embedding space——这让你在系统层面更像在维护一个“统一向量索引”，而不是维护一堆互不兼容的特征管线。

维度怎么选：3072 / 1536 / 768 的工程建议

官方给了一个很实用的方向：默认 3072 维质量最好，同时支持缩维，并建议优先尝试 3072/1536/768 这三个档位。

我的工程建议是：

不确定就从 1536 开始：大多数检索系统的瓶颈在召回质量和数据质量，1536 往往是一个“存储/性能/效果”的甜点位。
要冲极致召回就上 3072：尤其是语料复杂（跨语言、跨模态、多领域）且你追求更高 recall@k 的情况。
768 适合成本敏感的场景：比如你要对海量内容先做粗召回，后面还有重排/再检索/生成补偿。

重要提醒：一旦你切换维度（或切换模型），旧向量通常需要重新生成。工程上建议在向量元数据里记录 model_id 与 dim，避免“混库”。

工程落地：从 0 到 1 搭一条多模态检索链路

一个可落地的最小闭环通常是：

Ingest（分片）
- 文本：按段落/标题分 chunk
- PDF：按页或按段落（若需要 OCR，可交给平台能力或你的预处理）
- 视频：按时间切片（例如 20–40s 一段），必要时抽帧 + 抽音轨
- 音频：按语义段落/固定窗口切片
Embed（向量化）
- 为每个 chunk 生成 embedding
- 记录元信息：来源、时间戳、页码、帧区间、语言、权限等
Store（向量库）
- 选一个你团队熟悉的向量库/向量检索服务（或 Vertex Vector Search）
Query（检索）
- 用户查询也生成 embedding
- TopK 召回 + 过滤（权限/时间/类型）
Downstream
- 轻量场景：直接返回结果（语义搜索）
- RAG 场景：把召回内容喂给生成模型做摘要/问答

Keyword 博文也列出了常见生态入口：LangChain、LlamaIndex、Haystack、Weaviate、Qdrant、ChromaDB，以及 Vertex Vector Search 等，你可以按你现有栈“就近接入”，减少迁移成本。

代码示例：Python / TypeScript（批量 + 缩维 + 多模态）

下面示例以 Gemini API 的 gemini-embedding-2-preview 为例；如果你走 Vertex AI，模型 ID 一致，但鉴权与 endpoint 不同（以官方文档为准）。

Python：批量 embedding + `output_dimensionality`

python

import os
from google import genai
from google.genai import types
 
MODEL = "gemini-embedding-2-preview"
 
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])
 
texts = [
    "向量检索的关键不在 LLM，而在 embedding 层。",
    "Gemini Embedding 2 支持原生多模态向量。",
    "用 1536 维通常能在效果和成本间取得平衡。",
]
 
result = client.models.embed_content(
    model=MODEL,
    contents=texts,
    config=types.EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",
        output_dimensionality=1536,
    ),
)
 
vectors = [e.values for e in result.embeddings]
print("count:", len(vectors), "dim:", len(vectors[0]))

如果你选择的维度不是默认的 3072（比如 768/1536），做相似度检索前建议先做一次 L2 归一化（尤其是你用 cosine similarity 的时候）：

python

import numpy as np
 
def l2_normalize(vec: list[float]) -> list[float]:
    v = np.asarray(vec, dtype=np.float32)
    n = np.linalg.norm(v)
    return (v / (n if n != 0 else 1.0)).tolist()
 
normed_vectors = [l2_normalize(v) for v in vectors]

Python：多模态（图文交错）`Part` 输入

python

import os
from pathlib import Path
from google import genai
from google.genai import types
 
MODEL = "gemini-embedding-2-preview"
 
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])
 
image_bytes = Path("./dog.png").read_bytes()
 
content = types.Content(
    parts=[
        types.Part(text="一只狗在草地上追飞盘。"),
        types.Part.from_bytes(data=image_bytes, mime_type="image/png"),
    ]
)
 
result = client.models.embed_content(
    model=MODEL,
    contents=[content],
    config=types.EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",
        output_dimensionality=1536,
    ),
)
 
vector = result.embeddings[0].values
print("dim:", len(vector))

同理，你也可以把 PDF / 音频 / 视频作为 Part（通常是 from_bytes 或 from_uri）塞进 parts 里，关键是“多模态在同一个向量空间”。

TypeScript（Node.js）：批量 embedding + `outputDimensionality`

import { GoogleGenAI } from '@google/genai'
 
const MODEL = 'gemini-embedding-2-preview'
 
const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY! })
 
const texts = [
  '向量检索的关键不在 LLM，而在 embedding 层。',
  'Gemini Embedding 2 支持原生多模态向量。',
  '用 1536 维通常能在效果和成本间取得平衡。',
]
 
const resp = await ai.models.embedContent({
  model: MODEL,
  contents: texts,
  taskType: 'RETRIEVAL_DOCUMENT',
  outputDimensionality: 1536,
})
 
const vectors = resp.embeddings.map((e) => e.values)
console.log('count:', vectors.length, 'dim:', vectors[0].length)
 
function l2Normalize(vec: number[]) {
  const norm = Math.sqrt(vec.reduce((sum, x) => sum + x * x, 0))
  return vec.map((x) => x / (norm || 1))
}
 
const normedVectors = vectors.map(l2Normalize)

TypeScript：多模态 `Part`（图片 + 文本）输入

import { readFileSync } from 'node:fs'
import { GoogleGenAI } from '@google/genai'
 
const MODEL = 'gemini-embedding-2-preview'
 
const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY! })
 
const imageBase64 = readFileSync('./dog.png').toString('base64')
 
const resp = await ai.models.embedContent({
  model: MODEL,
  // 多模态通常用 content.parts 组织（文本 + 图片等）
  content: {
    parts: [
      { text: '一只狗在草地上追飞盘。' },
      {
        inlineData: {
          mimeType: 'image/png',
          data: imageBase64,
        },
      },
    ],
  },
  taskType: 'RETRIEVAL_DOCUMENT',
  outputDimensionality: 1536,
})
 
// 单条 content 一般返回 embedding（批量 contents 返回 embeddings）
const vector = resp.embedding.values
console.log('dim:', vector.length)

如果你准备把这段代码搬进生产，我建议你顺手把这些元信息写进向量库：model_id、output_dimensionality、taskType、以及原始内容的 source/timestamp/page/clip_range 等，这会让你后面做回滚和 A/B 测试轻松很多。

预览期你必须注意的 3 个坑

区域与配额
- Vertex AI 文档显示当前可用区域为 us-central1，这会影响你数据合规与延迟策略（尤其是多媒体输入）。
输入限制是真实的工程约束
- 视频/音频/PDF 都有明确上限，长内容需要切片与聚合策略（否则就是“API 能力很强，但你喂不进去”）。
不要把“多模态 embedding”当成万能
- embedding 解决的是“表示与检索”，不是“推理与生成”。多模态 embedding 会让你召回更准，但最终体验仍取决于你的召回策略、元数据、以及生成端的上下文组织。

我建议你怎么试（最省事的试跑路线）

第 1 天：只做文本/文档（PDF）检索闭环，跑通：分片 → embed → 向量库 → TopK 搜索。
第 2–3 天：加一类模态（图片或短视频），验证跨模态检索：比如“文字搜图/搜片段”。
第 1 周：做维度对比（768/1536/3072），用你自己的业务 query 集跑离线评估，再决定最终维度与索引策略。

参考链接（官方）

Gemini Embedding 2 发布文（The Keyword）：https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2/
Gemini API 模型页（gemini-embedding-2-preview）：https://ai.google.dev/gemini-api/docs/models/gemini-embedding-2-preview
Vertex AI 模型页（Gemini Embedding 2）：https://cloud.google.com/vertex-ai/generative-ai/docs/models/gemini/embedding-2
Gemini API Embeddings 文档（通用用法与示例）：https://ai.google.dev/gemini-api/docs/embeddings

过去一年我越来越确定：很多 RAG/语义搜索体验差，不是因为 LLM 不够强，而是你的“向量层”不够统一。

说明：本文以工程落地为中心，不复述宣传词；所有规格与限制以官方文档为准（预览期随时可能调整）。

先给结论：它解决了什么工程问题？

Gemini Embedding 2 的核心价值不是“更高分”，而是减少管线与对齐成本：

统一语义空间：文本/图像/音频/视频/PDF 都能进同一个 embedding space，天然支持“用文字搜图、用图搜视频、用音频片段搜相关文档”等跨模态检索。
交错输入（interleaved）：你可以把“图片 + 文字说明”作为一次输入，让向量更接近真实业务语义（而不是先做 caption 再 embed）。
维度可调：默认 3072 维，同时支持把向量缩到 1536 / 768 等，给你“质量 vs 存储/成本”的可控旋钮。

30 秒规格速览（建议收藏）

项目	Gemini API / Vertex AI（官方信息）
模型 ID	`gemini-embedding-2-preview`
输入模态	Text / Image / Video / Audio / PDF
输入 token 上限	8,192
输出维度	支持 128–3072（默认/推荐 3072；常用推荐 3072/1536/768）
图片限制	最多 6 张/次（PNG/JPEG）
PDF 限制	1 个文件/次，最多 6 页
视频限制	官方博文给到最长 120 秒；Vertex AI 进一步区分：带音频 80s / 无音频 120s
音频限制	1 个/次，最长 80 秒（MP3/WAV）
状态与可用区域	Public Preview；Vertex AI 文档显示可用区域为 `us-central1`
知识截止（Vertex）	2025 年 11 月

“原生多模态 embedding”到底意味着什么？

如果你以前做过多模态检索，大概率遇到过两类痛：

空间不一致：文本向量、图像向量、音频向量来自不同模型，彼此距离不可比；你只能“先转换成文本”或做复杂融合。
对齐脆弱：你用 OCR/ASR/caption 把图片/音频“翻译成文本”，但一旦字幕缺失或识别错误，检索就断了。

维度怎么选：3072 / 1536 / 768 的工程建议

官方给了一个很实用的方向：默认 3072 维质量最好，同时支持缩维，并建议优先尝试 3072/1536/768 这三个档位。

我的工程建议是：

不确定就从 1536 开始：大多数检索系统的瓶颈在召回质量和数据质量，1536 往往是一个“存储/性能/效果”的甜点位。
要冲极致召回就上 3072：尤其是语料复杂（跨语言、跨模态、多领域）且你追求更高 recall@k 的情况。
768 适合成本敏感的场景：比如你要对海量内容先做粗召回，后面还有重排/再检索/生成补偿。

重要提醒：一旦你切换维度（或切换模型），旧向量通常需要重新生成。工程上建议在向量元数据里记录 model_id 与 dim，避免“混库”。

工程落地：从 0 到 1 搭一条多模态检索链路

一个可落地的最小闭环通常是：

Ingest（分片）
- 文本：按段落/标题分 chunk
- PDF：按页或按段落（若需要 OCR，可交给平台能力或你的预处理）
- 视频：按时间切片（例如 20–40s 一段），必要时抽帧 + 抽音轨
- 音频：按语义段落/固定窗口切片
Embed（向量化）
- 为每个 chunk 生成 embedding
- 记录元信息：来源、时间戳、页码、帧区间、语言、权限等
Store（向量库）
- 选一个你团队熟悉的向量库/向量检索服务（或 Vertex Vector Search）
Query（检索）
- 用户查询也生成 embedding
- TopK 召回 + 过滤（权限/时间/类型）
Downstream
- 轻量场景：直接返回结果（语义搜索）
- RAG 场景：把召回内容喂给生成模型做摘要/问答

代码示例：Python / TypeScript（批量 + 缩维 + 多模态）

下面示例以 Gemini API 的 gemini-embedding-2-preview 为例；如果你走 Vertex AI，模型 ID 一致，但鉴权与 endpoint 不同（以官方文档为准）。

Python：批量 embedding + `output_dimensionality`

python

import os
from google import genai
from google.genai import types
 
MODEL = "gemini-embedding-2-preview"
 
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])
 
texts = [
    "向量检索的关键不在 LLM，而在 embedding 层。",
    "Gemini Embedding 2 支持原生多模态向量。",
    "用 1536 维通常能在效果和成本间取得平衡。",
]
 
result = client.models.embed_content(
    model=MODEL,
    contents=texts,
    config=types.EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",
        output_dimensionality=1536,
    ),
)
 
vectors = [e.values for e in result.embeddings]
print("count:", len(vectors), "dim:", len(vectors[0]))

如果你选择的维度不是默认的 3072（比如 768/1536），做相似度检索前建议先做一次 L2 归一化（尤其是你用 cosine similarity 的时候）：

python

import numpy as np
 
def l2_normalize(vec: list[float]) -> list[float]:
    v = np.asarray(vec, dtype=np.float32)
    n = np.linalg.norm(v)
    return (v / (n if n != 0 else 1.0)).tolist()
 
normed_vectors = [l2_normalize(v) for v in vectors]

Python：多模态（图文交错）`Part` 输入

python

import os
from pathlib import Path
from google import genai
from google.genai import types
 
MODEL = "gemini-embedding-2-preview"
 
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])
 
image_bytes = Path("./dog.png").read_bytes()
 
content = types.Content(
    parts=[
        types.Part(text="一只狗在草地上追飞盘。"),
        types.Part.from_bytes(data=image_bytes, mime_type="image/png"),
    ]
)
 
result = client.models.embed_content(
    model=MODEL,
    contents=[content],
    config=types.EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",
        output_dimensionality=1536,
    ),
)
 
vector = result.embeddings[0].values
print("dim:", len(vector))

同理，你也可以把 PDF / 音频 / 视频作为 Part（通常是 from_bytes 或 from_uri）塞进 parts 里，关键是“多模态在同一个向量空间”。

TypeScript（Node.js）：批量 embedding + `outputDimensionality`

import { GoogleGenAI } from '@google/genai'
 
const MODEL = 'gemini-embedding-2-preview'
 
const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY! })
 
const texts = [
  '向量检索的关键不在 LLM，而在 embedding 层。',
  'Gemini Embedding 2 支持原生多模态向量。',
  '用 1536 维通常能在效果和成本间取得平衡。',
]
 
const resp = await ai.models.embedContent({
  model: MODEL,
  contents: texts,
  taskType: 'RETRIEVAL_DOCUMENT',
  outputDimensionality: 1536,
})
 
const vectors = resp.embeddings.map((e) => e.values)
console.log('count:', vectors.length, 'dim:', vectors[0].length)
 
function l2Normalize(vec: number[]) {
  const norm = Math.sqrt(vec.reduce((sum, x) => sum + x * x, 0))
  return vec.map((x) => x / (norm || 1))
}
 
const normedVectors = vectors.map(l2Normalize)

TypeScript：多模态 `Part`（图片 + 文本）输入

import { readFileSync } from 'node:fs'
import { GoogleGenAI } from '@google/genai'
 
const MODEL = 'gemini-embedding-2-preview'
 
const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY! })
 
const imageBase64 = readFileSync('./dog.png').toString('base64')
 
const resp = await ai.models.embedContent({
  model: MODEL,
  // 多模态通常用 content.parts 组织（文本 + 图片等）
  content: {
    parts: [
      { text: '一只狗在草地上追飞盘。' },
      {
        inlineData: {
          mimeType: 'image/png',
          data: imageBase64,
        },
      },
    ],
  },
  taskType: 'RETRIEVAL_DOCUMENT',
  outputDimensionality: 1536,
})
 
// 单条 content 一般返回 embedding（批量 contents 返回 embeddings）
const vector = resp.embedding.values
console.log('dim:', vector.length)

预览期你必须注意的 3 个坑

区域与配额
- Vertex AI 文档显示当前可用区域为 us-central1，这会影响你数据合规与延迟策略（尤其是多媒体输入）。
输入限制是真实的工程约束
- 视频/音频/PDF 都有明确上限，长内容需要切片与聚合策略（否则就是“API 能力很强，但你喂不进去”）。
不要把“多模态 embedding”当成万能
- embedding 解决的是“表示与检索”，不是“推理与生成”。多模态 embedding 会让你召回更准，但最终体验仍取决于你的召回策略、元数据、以及生成端的上下文组织。

我建议你怎么试（最省事的试跑路线）

第 1 天：只做文本/文档（PDF）检索闭环，跑通：分片 → embed → 向量库 → TopK 搜索。
第 2–3 天：加一类模态（图片或短视频），验证跨模态检索：比如“文字搜图/搜片段”。
第 1 周：做维度对比（768/1536/3072），用你自己的业务 query 集跑离线评估，再决定最终维度与索引策略。

参考链接（官方）

Gemini Embedding 2 发布文（The Keyword）：https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2/
Gemini API 模型页（gemini-embedding-2-preview）：https://ai.google.dev/gemini-api/docs/models/gemini-embedding-2-preview
Vertex AI 模型页（Gemini Embedding 2）：https://cloud.google.com/vertex-ai/generative-ai/docs/models/gemini/embedding-2
Gemini API Embeddings 文档（通用用法与示例）：https://ai.google.dev/gemini-api/docs/embeddings

先给结论：它解决了什么工程问题？

30 秒规格速览（建议收藏）

“原生多模态 embedding”到底意味着什么？

维度怎么选：3072 / 1536 / 768 的工程建议

工程落地：从 0 到 1 搭一条多模态检索链路

代码示例：Python / TypeScript（批量 + 缩维 + 多模态）

Python：批量 embedding + output_dimensionality

Python：多模态（图文交错）Part 输入

TypeScript（Node.js）：批量 embedding + outputDimensionality

TypeScript：多模态 Part（图片 + 文本）输入

预览期你必须注意的 3 个坑

我建议你怎么试（最省事的试跑路线）

参考链接（官方）

先给结论：它解决了什么工程问题？

30 秒规格速览（建议收藏）

“原生多模态 embedding”到底意味着什么？

维度怎么选：3072 / 1536 / 768 的工程建议

工程落地：从 0 到 1 搭一条多模态检索链路

代码示例：Python / TypeScript（批量 + 缩维 + 多模态）

Python：批量 embedding + output_dimensionality

Python：多模态（图文交错）Part 输入

TypeScript（Node.js）：批量 embedding + outputDimensionality

TypeScript：多模态 Part（图片 + 文本）输入

预览期你必须注意的 3 个坑

我建议你怎么试（最省事的试跑路线）

参考链接（官方）

Python：批量 embedding + `output_dimensionality`

Python：多模态（图文交错）`Part` 输入

TypeScript（Node.js）：批量 embedding + `outputDimensionality`

TypeScript：多模态 `Part`（图片 + 文本）输入

Python：批量 embedding + `output_dimensionality`

Python：多模态（图文交错）`Part` 输入

TypeScript（Node.js）：批量 embedding + `outputDimensionality`

TypeScript：多模态 `Part`（图片 + 文本）输入