视频片段检索

用英文描述短 MP4 中的场景,对采样画面排序,核对原片并下载简洁的 JSON 报告。

选择 MP4 → 建立画面索引 → 用英文描述场景 → 核对原片 → 复制或下载 JSON。

请选择视频。建立索引之前不会下载模型。

在短视频中找到指定场景

选择一个本地 MP4,描述画面中的内容,再到原片中检查候选时间点。

每个文件 50 MB · 单边不超过 1920 像素 · 最多采样 20 帧

需要 WebGPU 和充足的内存

首次使用下载 484.6 MB 公共模型及约 22–35 MB 运行资源,加载还需要工作内存。已测试近期桌面版 Chrome;内存较少的手机可能无法运行。不提供 CPU 后备处理。

下载、存储和隐私

点击「建立画面索引」后,从 jsDelivr 和 Hugging Face(含其下载 CDN)获取固定公共资源。服务商会接收到 IP 地址等普通连接信息。视频和搜索描述留在浏览器内。校验通过的公共模型分块缓存在本机,以便再次使用;视频和查询不保存。取消会清空视频、查询和结果,但保留已完成的模型分块。浏览器设置可删除本站缓存。无需账号或付费 API。

每 5 秒采样支持最长 100 秒视频;每 2 秒:40 秒;每 1 秒:20 秒;每 0.5 秒:10 秒。两次采样之间的短暂事件可能被漏掉。

1–200 个字符(按 UTF-16 单元计)。推理后还会校验模型的 256 单元单块上限。仅搜索采样画面,不搜索声音。其他查询语言尚未验收。

使用说明

什么是视频片段检索?

它将英文描述与视频的采样画面比较,按相似度列出候选时间点,帮助你在本地短视频中找到值得查看的位置。候选只是建议,即使所描述的场景不存在也会返回结果;声音和两次采样之间的画面不在搜索范围内。

操作步骤

  1. 选择一个完整、浏览器能解码的 MP4。工具先检查文件大小、源时间、尺寸和采样计划,再下载模型资源。
  2. 最长 100 秒的视频可保留默认 5 秒间隔;较短视频可明确选择更密的采样。点击「建立画面索引」。首次使用下载公共模型和运行资源,视频留在你的设备上。
  3. 用简短英文描述可见内容,例如「A red car on a city street」。点击「查找时间点」或按 Enter。具体、简短的描述更容易与单个画面比较。
  4. 选择候选时间点的「核对原片」。浏览器重新解码,比较源文件字节、帧呈现时间及 PNG 字节。播放原视频,判断场景是否符合你的实际需要。
  5. 复制或下载本次 JSON 报告。它包含实际查询、源文件指纹、采样覆盖范围、候选时间、相似度和已完成的帧核对。原视频请另行保存,报告不含图片。

参数怎么选

选项取舍与影响
5 秒间隔(默认)最长 100 秒,最多采样 20 次。处理的画面较少,但可能漏掉短暂事件。
2 秒/1 秒/0.5 秒分别支持最长 40/20/10 秒。密集采样占用更多本地资源;超过 20 次时工具拒绝执行,不会偷偷更改你的选择。
相似度余弦相似度用于排序,不是置信百分比、物体检测结论,也不能证明场景存在。
原帧核对核对所选画面的源文件 SHA-256、解码呈现时间和 PNG 字节一致性,不验证描述是否正确,也不验证所有帧。
JSON 报告记录本次查询和浏览器核对项。调用方提供的描述记录不属于独立认证证书。

示例与预期结果

在自有的 2 秒合成测试视频中,0.5 秒采样得到请求位置 0、0.5、1 和 1.5 秒。两个停留的源帧实际呈现于 0 和 1.2 秒,因此索引保留四次采样和两个不同帧。搜索「A red rectangle」后,两帧均作为候选返回。核对 0 秒时,源文件指纹、解码时间和 PNG 字节一致。下载的 1,825 字节 JSON 与复制的报告一致。这是该视频上的功能检查,不是在预测你的视频的准确度或报告大小。

失败后怎么办

  • 超过 20 次采样时,选择更长间隔或缩短视频副本。更改间隔会丢弃旧索引,不会自动放宽采样要求。
  • 文件无法读取或原帧核对失败时,请用完整、受支持的原始 MP4 重新建立索引。不完整索引或未经核对的结果不会被标为已完成核对。
  • 模型存储不可用或已满时,先在浏览器设置中清理本站存储,再明确重试。缓存分块指纹错误时,该块会被移除;重试补下载该块并复用其他已校验分块。
  • 查询错误保留有效源索引,可缩短描述后重试。修改描述会清掉旧候选和旧报告。超时或引擎失败需要重新建立索引;清空和取消还会清掉文件和查询。
  • 剪贴板被拒绝时,可手动选中 JSON 文本复制,或下载 JSON 报告。将报告用于其他流程前,检查其中的查询和源文件指纹。

参数与资源上限

设置上限
输入一个 MP4;50,000,000 字节;解析时长不超过 120 秒,同时受所选间隔的 20 次采样上限约束。
尺寸单边不超过 1920 像素,总像素不超过 2,073,600。
解码图片最多 20 次采样;每张 PNG 不超过 2,000,000 字节,合计不超过 24,000,000 字节。不接受不完整索引。
查询文本1–200 个 UTF-16 单元;推理后检查 256 个模型输入单元、单块的上限。
模型EmbeddingGemma 2 740M LiteRT-LM;固定公共版本,484,622,336 字节。分块及完整模型均校验指纹。
时限时序解析器加载上限为 15 秒。就绪后,每次时间解析或原生帧等待 4 秒;引擎准备 360 秒;帧索引 120 秒;查询 15 秒。这些是各操作上限,不是总启动时长保证。
导出JSON 不超过 100,000 字节,本界面最多包含 5 个候选帧,不含 PNG 数据或嵌入向量。

格式与限制

仅接受一个浏览器支持的 MP4。MP4 是容器,即使扩展名是 .mp4,浏览器无法解码其中的编码时仍会失败。空编辑、多段编辑或变速编辑列表、含糊的时间信息以及超过 7,200 个时间包会被拒绝。原文件不改变。

需要 WebGPU 适配器及充足工作内存。已测试近期桌面版 Chrome;其他浏览器和内存较少的手机尚未验收。不需要 Python 或 NVIDIA 专属安装,也不提供 CPU 后备处理。首次使用下载 484.6 MB 模型数据和约 22–35 MB 运行资源;浏览器还需要内存来组装并加载模型。

视频和查询不上传。点击「建立画面索引」后,会连接 jsDelivr 和 Hugging Face(含其下载 CDN)获取固定公共资源,服务商会收到 IP 地址等普通连接信息。仅校验通过的公共模型分块被缓存,文件和查询留在页面内存中。清空、取消或离开页面会释放这些输入和结果;已完成的模型分块留供复用,可通过浏览器网站数据设置删除。

常见问题

这个工具能找到什么?

它将采样画面与英文描述比较排序。请根据候选时间点查看原视频。它不搜索语音、不识别所有事件,也不保证视频中存在所描述场景。

应该选择哪种采样间隔?

最长 100 秒的视频先用 5 秒间隔。2 秒间隔支持最长 40 秒,1 秒支持 20 秒,0.5 秒支持 10 秒。更密的采样可捕捉较短变化,但两次采样之间的内容仍可能漏掉。

高分能证明场景存在吗?

不能。即使所有画面都不符合描述,相似度仍会排出最接近的候选。原帧核对只能证明本浏览器重新解码得到了同一个源帧,你仍需检查画面内容。

为什么视频或模型加载失败?

先检查编码、50 MB 和像素上限,以及最多 20 次的采样计划。使用支持 WebGPU、内存和存储充足的近期桌面版 Chrome。资源下载或缓存错误需要明确重试;没有 CPU 或上传后备处理。

视频或描述会被上传吗?

不会。视频解码、嵌入、排序和源文件核对在浏览器内运行。公共模型及运行资源从所列服务商下载,它们会收到普通连接信息。仅这些公共模型分块会缓存,文件和查询不保存。