Pencarian Adegan Video

Jelaskan adegan dalam MP4 pendek, urutkan bingkai sampel, periksa video asli, dan unduh laporan JSON ringkas.

Pilih MP4 → buat indeks visual → jelaskan adegan dalam bahasa Inggris → periksa video asli → salin atau unduh JSON.

Pilih video. Model tidak mulai diunduh sebelum Anda membuat indeks.

Temukan adegan dalam video pendek

Pilih satu MP4 lokal. Jelaskan apa yang terlihat, lalu periksa waktu yang disarankan pada video asli.

50 MB per berkas · maksimal 1920 piksel per sisi · 20 bingkai sampel

Memerlukan WebGPU dan memori yang cukup

Penggunaan pertama mengunduh model publik 484.6 MB dan sumber daya runtime sekitar 22–35 MB. Pemuatan juga memerlukan memori kerja. Alur ini telah diuji pada Chrome desktop terbaru; ponsel dengan sedikit memori mungkin tidak dapat menjalankannya. Tidak ada alternatif CPU.

Unduhan, penyimpanan, dan privasi

Setelah Anda menekan Buat indeks visual, sumber daya publik dengan versi tetap diunduh dari jsDelivr dan Hugging Face, termasuk CDN unduhannya. Penyedia menerima informasi koneksi biasa seperti alamat IP Anda. Video dan deskripsi pencarian tetap di peramban Anda. Bagian model publik yang telah diverifikasi disimpan dalam cache untuk digunakan lagi; video dan kueri tidak disimpan. Membatalkan akan menghapus video, kueri, dan hasil, tetapi mempertahankan bagian model yang sudah lengkap. Anda dapat menghapus cache situs melalui pengaturan peramban. Tidak perlu akun atau API berbayar.

5 detik: video hingga 100 detik; 2 detik: 40 detik; 1 detik: 20 detik; 0.5 detik: 10 detik. Peristiwa singkat di antara sampel bisa terlewat.

1–200 karakter (unit UTF-16). Batas 256 unit masukan model dalam satu potongan juga diperiksa setelah inferensi. Hanya bingkai sampel yang dicari; audio tidak disertakan. Kualitas pencarian dalam bahasa lain belum divalidasi.

Cara menggunakan

Apa itu pencarian adegan video?

Pencarian ini membandingkan deskripsi bahasa Inggris dengan bingkai sampel video dan mengurutkan kandidat terdekat. Ini membantu Anda menemukan bagian yang perlu diperiksa dalam video lokal pendek. Setiap kecocokan adalah saran, termasuk saat adegan tidak ada; audio dan waktu di antara sampel tidak dicari.

Langkah penggunaan

  1. Pilih satu MP4 yang utuh dan bisa didekode peramban. Sebelum mengunduh sumber daya model, alat memeriksa ukuran berkas, waktu sumber, dimensi, dan rencana sampel.
  2. Pertahankan interval bawaan 5 detik untuk video hingga 100 detik, atau pilih sendiri interval lebih rapat untuk video yang lebih pendek. Tekan Buat indeks visual. Penggunaan pertama mengunduh model publik dan sumber daya runtime; video tetap di perangkat Anda.
  3. Jelaskan apa yang terlihat dengan bahasa Inggris sederhana, misalnya “A red car on a city street”. Tekan Cari waktu adegan atau Enter. Deskripsi singkat dan konkret lebih mudah dibandingkan dengan sebuah bingkai.
  4. Pilih Periksa video asli pada waktu kandidat. Peramban mendekode ulang sumber dan membandingkan byte berkas, waktu presentasi, dan byte PNG dengan indeks. Putar video asli untuk menentukan apakah adegan sesuai kebutuhan Anda.
  5. Salin atau unduh laporan JSON saat ini. Laporan berisi kueri sebenarnya, sidik jari sumber, cakupan sampel, waktu kandidat, kemiripan, dan pemeriksaan bingkai yang selesai. Simpan video asli secara terpisah; laporan tidak berisi gambar.

Memilih pengaturan

OpsiApa yang berubah
Interval 5 detik (bawaan)Video hingga 100 detik dengan maksimal 20 sampel. Memproses lebih sedikit bingkai, tetapi bisa melewatkan peristiwa singkat.
2 detik / 1 detik / 0.5 detikVideo hingga 40 / 20 / 10 detik secara berurutan. Sampel lebih rapat memakai lebih banyak sumber daya lokal. Alat menolak rencana di atas 20 sampel, bukan mengubah pilihan Anda.
KemiripanKemiripan kosinus mengurutkan kandidat. Ini bukan persentase keyakinan, putusan detektor objek, atau bukti bahwa adegan ada.
Pemeriksaan bingkai asliMemeriksa SHA-256 sumber, waktu presentasi hasil dekode, dan kesamaan byte PNG bingkai yang dipilih. Tidak memvalidasi deskripsi Anda atau semua bingkai.
Laporan JSONLaporan dengan batas ukuran tentang kueri saat ini dan pemeriksaan peramban. Deskriptor dari pemanggil bukan sertifikat yang diautentikasi secara independen.

Contoh dan hasil yang diharapkan

Pada video sintetis milik penguji sepanjang 2 detik, interval 0.5 detik meminta waktu 0, 0.5, 1, dan 1.5 detik. Dua bingkai sumber yang dipertahankan sebenarnya ditampilkan pada 0 dan 1.2 detik, sehingga indeks menyimpan empat posisi sampel dan dua bingkai unik. Pencarian “A red rectangle” mengembalikan keduanya sebagai kandidat. Pemeriksaan 0 detik mencocokkan sidik jari sumber, waktu hasil dekode, dan byte PNG. JSON unduhan 1,825 byte cocok dengan laporan yang disalin. Ini pemeriksaan fungsi pada video tersebut, bukan prediksi akurasi atau ukuran laporan untuk video Anda.

Jika tidak berfungsi

  • Jika rencana melebihi 20 sampel, pilih interval lebih besar atau pendekkan salinan video. Mengubah interval membuang indeks lama. Interval tidak dilonggarkan otomatis.
  • Jika berkas tidak terbaca atau pemeriksaan bingkai gagal, gunakan MP4 utuh yang didukung dan buat indeks baru. Indeks yang belum diperiksa atau parsial tidak ditampilkan sebagai lengkap.
  • Jika penyimpanan model tidak tersedia atau penuh, kosongkan penyimpanan situs melalui pengaturan peramban lalu coba lagi secara eksplisit. Sidik jari bagian cache yang tidak cocok akan menghapus bagian itu; percobaan ulang menggantinya dan memakai kembali bagian lain yang terverifikasi.
  • Kesalahan kueri mempertahankan indeks yang valid agar Anda bisa memperpendek deskripsi dan mencoba lagi. Mengedit deskripsi menghapus kandidat dan laporan lama. Batas waktu terlewati atau kegagalan mesin memerlukan indeks baru; Hapus dan Batalkan juga mengosongkan berkas dan kueri.
  • Jika papan klip diblokir, pilih teks JSON secara manual atau gunakan Unduh laporan JSON. Periksa kueri dan sidik jari sumber sebelum memakai laporan di tempat lain.

Referensi dan batas sumber daya

PengaturanBatas
MasukanSatu MP4; 50,000,000 byte; durasi hasil parsing maksimal 120 detik, juga harus memenuhi batas 20 sampel dari interval yang dipilih.
DimensiMaksimal 1920 piksel per sisi dan total 2,073,600 piksel.
Gambar hasil dekodeMaksimal 20 bingkai sampel; 2,000,000 byte per PNG dan total 24,000,000 byte. Indeks parsial tidak diterima.
Kueri teks1–200 unit UTF-16; batas 256 unit masukan model dalam satu potongan diperiksa setelah inferensi.
ModelEmbeddingGemma 2 740M LiteRT-LM; revisi publik tetap, 484,622,336 byte. Sidik jari bagian unduhan dan model lengkap diperiksa.
Batas waktuBatas memuat pengurai waktu: 15 detik. Setelah siap: 4 detik per penantian waktu atau bingkai asli; 360 detik untuk persiapan mesin; 120 detik untuk pengindeksan bingkai; 15 detik untuk kueri. Ini batas tiap operasi, bukan jaminan waktu mulai secara keseluruhan.
EksporJSON hingga 100,000 byte, dengan maksimal 5 bingkai kandidat di antarmuka ini. Tanpa data PNG atau vektor embedding.

Format dan batas

Hanya satu MP4 yang bisa didekode peramban diterima. MP4 adalah kontainer: codec yang tidak didukung tetap gagal meskipun ekstensinya .mp4. Daftar edit kosong, multi-segmen atau dengan perubahan laju, waktu ambigu, dan lebih dari 7,200 paket waktu ditolak. Berkas asli tidak berubah.

Diperlukan adaptor WebGPU dan memori kerja yang cukup. Alur yang diuji menggunakan Chrome desktop versi terbaru; peramban lain dan ponsel dengan sedikit memori belum divalidasi. Tidak perlu memasang Python atau perangkat lunak khusus NVIDIA, tetapi tidak ada alternatif CPU. Penggunaan pertama mengunduh model 484.6 MB dan sumber daya runtime sekitar 22–35 MB. Peramban juga memerlukan memori untuk merakit dan memuat model.

Video atau kueri tidak diunggah. Menekan Buat indeks visual membuka koneksi biasa ke jsDelivr dan Hugging Face, termasuk CDN unduhannya, untuk sumber daya publik dengan versi tetap. Penyedia menerima informasi koneksi biasa seperti IP Anda. Hanya bagian model publik terverifikasi yang disimpan dalam cache; berkas dan kueri berada di memori halaman. Hapus, Batalkan, atau meninggalkan halaman melepaskan masukan dan hasil tersebut. Bagian model yang lengkap tetap tersedia untuk digunakan lagi; Anda dapat menghapusnya melalui pengaturan data situs di peramban.

Pertanyaan umum

Apa yang bisa ditemukan alat ini?

Alat mengurutkan bingkai sampel berdasarkan deskripsi bahasa Inggris. Gunakan waktu kandidat untuk memeriksa video asli. Alat tidak mencari ucapan, tidak mengenali setiap peristiwa, dan tidak menjamin bahwa deskripsi ada dalam video.

Interval sampel mana yang sebaiknya dipilih?

Mulai dari 5 detik untuk video hingga 100 detik. Gunakan 2 detik untuk maksimal 40 detik, 1 detik untuk 20 detik, atau 0.5 detik untuk 10 detik. Sampel lebih rapat dapat menangkap perubahan singkat, tetapi peristiwa di antara sampel tetap bisa terlewat.

Apakah skor tinggi membuktikan adegan ada?

Tidak. Kemiripan mengurutkan bingkai terdekat meskipun semua bingkai kurang cocok. Pemeriksaan bingkai asli hanya membuktikan bahwa peramban ini mendekode ulang bingkai sumber yang sama; Anda tetap harus memeriksa isinya.

Mengapa video atau model tidak dimuat?

Periksa berkas dan codec, batas 50 MB dan piksel, serta rencana 20 sampel. Gunakan Chrome desktop versi terbaru dengan WebGPU dan memori serta ruang penyimpanan yang cukup. Kesalahan unduhan atau cache memerlukan percobaan ulang secara eksplisit; tidak ada alternatif CPU atau pengunggahan berkas.

Apakah video atau deskripsi saya diunggah?

Tidak. Dekode, embedding, pengurutan, dan pemeriksaan sumber berjalan di peramban Anda. Sumber daya model dan runtime publik diunduh dari penyedia yang disebutkan, yang menerima informasi koneksi biasa. Hanya bagian model publik itu yang disimpan dalam cache; berkas dan kueri Anda tidak disimpan.