Rohan Paul

Google 发布了 EmbeddingGemma 2 论文。 设备上多模式 AI 的嵌入模型，采用 Apache 2.0 许可证。 > 将文本、代码、图像、音频和视频放入手机上的 1 个可搜索空间中。为手机提供了一个缺失的部分：一种无需将其发送到服务器即可理解和搜索自己的内容的方法。 > 表明 744M 参数的开放模型可以嵌入文本、图像、音频和视频，击败了许多大 2 到 12 倍的模型。 > 在 Pixel 11 Pro 上，量化文本权重大约需要 191MB 的活动 RAM，完整的多模式模型大约需要 567MB。 > 上下文窗口增长 4 倍至 8K 令牌，足以在 1 个输入中容纳大约 5.5 分钟的音频、29 个图像或 58 个视频帧。 他们在 Gemma 4 上构建了 EmbeddingGemma 2，训练它复制更大的 Gemini Embedding 2，然后通过对比训练对其进行调整。所有媒体类型共享 1 个向量空间，完整模型在具有 4 位权重的 Pixel 11 Pro 上可容纳 567 MB。 在 MSEB 口语查询检索基准上，嵌入语音直接击败了转录语音，分别为 69.54 比 57.59。 MTEB Code 上的代码搜索得分为 78.68，高于 EmbeddingGemma 1 的 68.76。