Busca de cenas em vídeo

Descreva uma cena de um MP4 curto, ordene os quadros amostrados, confira o original e baixe um relatório JSON compacto.

Escolher MP4 → criar índice visual → descrever a cena em inglês → conferir o original → copiar ou baixar JSON.

Escolha um vídeo. O download do modelo só começa quando você inicia a criação de um índice.

Encontre uma cena em um vídeo curto

Escolha um MP4 local. Descreva o que aparece na imagem e confira os momentos sugeridos no original.

50 MB por arquivo · até 1920 pixels por lado · 20 quadros amostrados

Requer WebGPU e memória suficiente

No primeiro uso, são baixados um modelo público de 484.6 MB e cerca de 22–35 MB de recursos de execução. O carregamento também exige memória de trabalho. O caminho foi testado no Chrome recente para computador; celulares com pouca memória podem não funcionar. Não há alternativa por CPU.

Downloads, armazenamento e privacidade

Ao clicar em Criar índice visual, recursos públicos fixos são baixados do jsDelivr e do Hugging Face, incluindo sua CDN de downloads. Os provedores recebem dados comuns de conexão, como seu endereço IP. O vídeo e a descrição de busca ficam no seu navegador. As partes verificadas do modelo público são armazenadas em cache para reutilização; vídeos e consultas não são salvos. Cancelar apaga o vídeo, a consulta e os resultados, mas mantém as partes completas do modelo. As configurações do navegador permitem remover o cache deste site. Não é preciso conta nem API paga.

5 segundos: vídeo de até 100 segundos; 2 segundos: 40 segundos; 1 segundo: 20 segundos; 0.5 segundo: 10 segundos. Eventos breves entre as amostras podem passar despercebidos.

1–200 caracteres (unidades UTF-16). Após a inferência, também é verificado o limite de 256 unidades de entrada em um único bloco. Só são pesquisados quadros amostrados; o áudio fica de fora. A qualidade de busca em outros idiomas não foi validada.

Como usar

O que é a busca de cenas em vídeo?

Ela compara uma descrição em inglês com quadros amostrados de um vídeo e ordena os candidatos mais próximos. Ajuda a encontrar trechos para conferir em um vídeo curto e local. Cada resultado é uma sugestão, mesmo quando a cena está ausente; áudio e momentos entre amostras ficam fora da busca.

Passo a passo

  1. Escolha um MP4 intacto que seu navegador consiga decodificar. Antes de baixar recursos do modelo, a ferramenta verifica tamanho, tempos do arquivo, dimensões e plano de amostragem.
  2. Mantenha o intervalo padrão de 5 segundos para vídeos de até 100 segundos ou escolha explicitamente um intervalo menor para um vídeo mais curto. Clique em Criar índice visual. O primeiro uso baixa recursos públicos do modelo e de execução; o vídeo fica no seu dispositivo.
  3. Descreva o que aparece em inglês simples, como “A red car on a city street”. Clique em Buscar momentos ou pressione Enter. Descrições curtas e concretas são mais fáceis de comparar com um quadro.
  4. Escolha Conferir original no tempo de um candidato. O navegador decodifica a fonte novamente e compara bytes do arquivo, tempo de apresentação e bytes PNG com o índice. Reproduza o original para decidir se a cena serve para sua tarefa.
  5. Copie ou baixe o relatório JSON atual. Ele contém a consulta real, a impressão digital do arquivo, a cobertura de amostragem, os tempos candidatos, a similaridade e as verificações concluídas. Guarde o vídeo original separadamente; o relatório não contém imagens.

Como escolher as configurações

OpçãoO que muda
Intervalo de 5 segundos (padrão)Até 100 segundos, com no máximo 20 amostras. Processa menos quadros, mas pode perder eventos breves.
2 segundos / 1 segundo / 0.5 segundoAté 40 / 20 / 10 segundos, respectivamente. Amostragem mais densa usa mais recursos locais. A ferramenta recusa planos acima de 20 amostras em vez de alterar sua escolha.
SimilaridadeA similaridade de cosseno ordena os candidatos. Não é porcentagem de confiança, conclusão de um detector de objetos nem prova de que a cena existe.
Verificação do quadro originalVerifica SHA-256 do arquivo, tempo de apresentação decodificado e identidade dos bytes PNG do quadro escolhido. Não valida a descrição nem todos os quadros.
Relatório JSONRelatório limitado à consulta atual e às verificações do navegador. Descritores fornecidos por quem faz a chamada não são um certificado autenticado de forma independente.

Exemplo e resultado esperado

Em um vídeo sintético próprio de 2 segundos, a amostragem a cada 0.5 segundo solicitou os tempos 0, 0.5, 1 e 1.5 segundos. Dois quadros mantidos eram realmente apresentados em 0 e 1.2 segundos, então o índice conservou quatro posições de amostragem e dois quadros distintos. A busca “A red rectangle” retornou ambos como candidatos. Conferir 0 segundos confirmou a impressão digital do arquivo, o tempo decodificado e os bytes PNG. O JSON baixado de 1,825 bytes coincidiu com o relatório copiado. É uma verificação funcional desse vídeo, não uma previsão de precisão ou tamanho do relatório para seu vídeo.

Se não funcionar

  • Se o plano exceder 20 amostras, escolha um intervalo maior ou encurte uma cópia do vídeo. Alterar o intervalo descarta o índice antigo. O intervalo não é aumentado automaticamente.
  • Se o arquivo não puder ser lido ou a verificação de um quadro falhar, use um MP4 intacto e compatível e crie um novo índice. Índices não verificados ou parciais não são apresentados como completos.
  • Se o armazenamento do modelo estiver indisponível ou cheio, libere o armazenamento do site nas configurações do navegador e tente novamente de forma explícita. Uma impressão digital incorreta remove aquela parte do cache; a nova tentativa a substitui e reutiliza as outras partes verificadas.
  • Um erro de consulta mantém um índice válido para você encurtar e tentar a descrição novamente. Editar a descrição apaga candidatos e relatório antigos. Um prazo esgotado ou falha do mecanismo exige novo índice; Limpar e Cancelar também esvaziam arquivo e consulta.
  • Se a área de transferência estiver bloqueada, selecione o texto JSON manualmente ou use Baixar relatório JSON. Confira a consulta e a impressão digital do arquivo antes de usar o relatório em outro lugar.

Referência e limites de recursos

ConfiguraçãoLimite
EntradaUm MP4; 50,000,000 bytes; duração analisada de até 120 segundos, também sujeita ao limite de 20 amostras do intervalo escolhido.
DimensõesAté 1920 pixels por lado e 2,073,600 pixels no total.
Imagens decodificadasAté 20 quadros amostrados; 2,000,000 bytes por PNG e 24,000,000 bytes no total. Não é aceito um índice parcial.
Consulta de texto1–200 unidades UTF-16; após a inferência é verificado o limite de 256 unidades de entrada do modelo em um único bloco.
ModeloEmbeddingGemma 2 740M LiteRT-LM; revisão pública fixa, 484,622,336 bytes. As impressões digitais das partes baixadas e do modelo completo são verificadas.
PrazosCarregamento do analisador de tempos: 15 segundos. Depois de estar pronto: 4 segundos por espera de tempos ou quadros nativos; 360 segundos para preparar o mecanismo; 120 segundos para indexar quadros; 15 segundos para a consulta. São limites por operação, não uma garantia do tempo total de inicialização.
ExportaçãoJSON de até 100,000 bytes, com no máximo 5 quadros candidatos nesta interface. Sem dados PNG ou vetores de representação.

Formatos e limites

Só é aceito um MP4 decodificável pelo navegador. MP4 é um contêiner: um codec incompatível falha mesmo com a extensão .mp4. Listas de edição vazias, com vários segmentos ou mudanças de velocidade, tempos ambíguos e mais de 7,200 pacotes de tempos são recusados. O arquivo original não muda.

É necessário um adaptador WebGPU e memória de trabalho suficiente. O caminho testado usa Chrome recente para computador; outros navegadores e celulares com pouca memória não foram validados. Não é preciso instalar Python ou software específico da NVIDIA, mas não há alternativa por CPU. O primeiro uso baixa 484.6 MB de modelo e cerca de 22–35 MB de recursos de execução. O navegador também precisa de memória para montar e carregar o modelo.

Nenhum vídeo ou consulta é enviado. Clicar em Criar índice visual inicia conexões comuns com jsDelivr e Hugging Face, incluindo sua CDN de downloads, para obter recursos públicos fixos. Os provedores recebem informações comuns de conexão, como seu IP. Somente partes verificadas do modelo público são armazenadas em cache; o arquivo e a consulta ficam na memória da página. Limpar, Cancelar ou sair da página libera entradas e resultados. As partes completas do modelo são mantidas para reutilização; as configurações de dados do site no navegador permitem removê-las.

Perguntas frequentes

O que esta ferramenta encontra?

Ela ordena quadros amostrados em relação a uma descrição em inglês. Use os tempos candidatos para conferir o vídeo original. Não busca fala, não identifica todos os eventos e não garante que a descrição esteja presente.

Qual intervalo devo escolher?

Comece com 5 segundos para vídeos de até 100 segundos. Use 2 segundos para no máximo 40 segundos, 1 segundo para 20 segundos ou 0.5 segundo para 10 segundos. Uma amostragem mais densa pode captar mudanças curtas, mas eventos entre amostras ainda podem ser perdidos.

Uma pontuação alta prova que a cena existe?

Não. A similaridade ordena os quadros mais próximos mesmo quando nenhum combina bem. A verificação do original prova apenas que este navegador decodificou novamente o mesmo quadro de origem; você ainda precisa conferir o conteúdo.

Por que meu vídeo ou modelo não carrega?

Confira arquivo e codec, limites de 50 MB e pixels, e plano de 20 amostras. Use Chrome recente para computador com WebGPU e memória e armazenamento livres suficientes. Erros de download ou cache precisam de nova tentativa explícita; não há alternativa por CPU nem envio do arquivo.

Meu vídeo ou descrição é enviado?

Não. Decodificação, representações, ordenação e verificações de origem são executadas no navegador. Recursos públicos do modelo e de execução são baixados dos provedores indicados, que recebem informações comuns de conexão. Só essas partes públicas do modelo ficam em cache; seu arquivo e sua consulta não são salvos.