Dzaky Zakiyal Fawwaz

Perusahaan kecantikan & perawatan diri · melalui Accenture · 2024

Analisis Video GenAI untuk Kreator Afiliasi

AI Engineer

Proyek klien. Nama, data, dan detail identitas dirahasiakan; arsitektur dijelaskan secara umum.

Analisis Video GenAI untuk Kreator Afiliasi

Masalah

Merek ini bekerja dengan ribuan kreator afiliasi video pendek. Tim harus menonton video, membaca komentar, dan mencocokkan ekspor penjualan secara manual untuk memahami mengapa sebagian video laku, lalu membina kreator soal naskah dan pilihan produk.

Pendekatan

Solusi ini melewati tiga iterasi yang masing-masing dibentuk oleh masukan tim merek: dashboard penjualan dengan analisis multi-video Gemini; lalu penilaian per adegan, pembinaan tier, dan pembuatan naskah; lalu profil kreator lengkap dengan analisis audiens, komentar, dan gaya. Setiap pemanggilan LLM dibatasi oleh skema respons JSON agar output tampil konsisten di aplikasi.

Arsitektur

Arahkan kursor ke komponen untuk melihat koneksinya · geser untuk menggeser · gunakan + / − untuk zoom

  • Sumber
  • Pemrosesan
  • Model
  • Agen / optimizer
  • Penyimpanan data
  • Output

Cara Kerja

  1. KumpulkanEkspor penjualan afiliasi serta file, metadata, dan komentar tiap video, ditambah kata kunci dan produk yang sedang tren dari insight publik platform iklan.
  2. PraprosesVideo di-cache berdasarkan hash konten; deteksi wajah, transkripsi, dan fuzzy matching ke katalog produk menambah konteks.
  3. AnalisisGemini membaca video secara langsung, membaginya menjadi adegan hook, pesan utama, dan call-to-action, lalu menilai masing-masing 0–5 dengan saran konkret.
  4. ProfilProfil gaya (gaya jualan, jenis hook dan CTA, nada, editing), sentimen dan topik komentar, serta persona audiens hasil inferensi.
  5. BinaMesin tier membandingkan kreator dengan tier komisi berikutnya dan menunjukkan metrik yang perlu ditingkatkan; aplikasi merekomendasikan produk dan menyusun naskah yang mematuhi aturan klaim iklan.
  6. SajikanAplikasi Streamlit multi-halaman dengan metrik, grafik, dan word cloud untuk tim merek.

Yang Saya Bangun

  • Dashboard penjualan atas ~43 ribu video afiliasi dengan filter dan analisis multi-video Gemini.
  • Penilaian per adegan dengan rubrik terstruktur: narasi, hook, pesan utama, CTA, kesesuaian audio-visual, persuasi, dan pemanfaatan tren.
  • Mesin tier kreator, rekomendasi produk, dan pembuatan naskah yang patuh aturan dengan video kreator teratas sebagai referensi.
  • Profil kreator dengan persona audiens, analisis komentar, dan analisis gaya video.
  • Eksperimen klasifikasi viralitas (XGBoost pada fitur transkrip, visual, dan teks) dengan akurasi 0,74 pada video uji.

Dampak

Memangkas pekerjaan review kreator dari hitungan jam menjadi menit dan memberi tim merek umpan balik yang konsisten dan dapat dijelaskan untuk membina kreator.

Metrik Kunci

Hours → MinutesWaktu meninjau video seorang kreator
43kVideo afiliasi di dashboard analisis
0.74Akurasi klasifikasi viralitas (eksperimen)

Tumpukan Teknologi

PythonGemini 1.5 / 2.0 FlashStreamlitWhisperMediaPipeXGBoostPlaywrightpandasSQLite