Pengenalan Aktivitas Manusia untuk Pemeriksaan Keamanan & Cuci Tangan

Masalah

Industri bergantung pada pemeriksaan keamanan dan kebersihan, tetapi tidak ada jaminan setiap karyawan melakukannya sesuai standar, dan menempatkan ahli untuk mengawasi semua orang tidak mungkin dilakukan dalam skala besar. Komputer dapat memeriksa secara otomatis, tetapi harus mengenali gerakannya terlebih dahulu. Fitur per frame dari CNN 2D melewatkan pola temporal sebuah aktivitas.

Pendekatan

Alih-alih memberi seluruh frame ke model, kami mengubah setiap frame menjadi keypoint OpenPose: 25 titik tubuh untuk pemeriksaan keamanan, dan 21 titik per tangan untuk cuci tangan, masing-masing dengan x, y, dan nilai confidence. Keypoint diratakan, disusun menjadi urutan 20 frame dengan frame lag 2, lalu diklasifikasikan oleh LSTM (256 unit) yang diikuti dense layer. Kami merekam dataset sendiri beresolusi 1080p, 30 FPS: 150 video pemeriksaan keamanan dan 240 video cuci tangan dari 5 orang dengan 7 aktivitas.

Cara Kerja

1. 1
   RekamVideo aktivitas 1920×1080 dan 30 FPS, satu orang per klip.
2. 2
   Ekstrak poseOpenPose menghasilkan keypoint tubuh (pemeriksaan keamanan) atau keypoint kedua tangan (cuci tangan) per frame.
3. 3
   Susun urutanRatakan keypoint menjadi urutan 20 frame. Frame lag 2 menambahkan frame sebelumnya ke setiap langkah, sehingga input menjadi 3D (sampel × timestep × fitur).
4. 4
   KlasifikasiLSTM (256) → dense 128 → 64 → 32 (ReLU) → softmax atas aktivitas.
5. 5
   EvaluasiPembagian latih/uji acak 80:20 setelah urutan frame lag dibentuk, RMSProp dengan cross-entropy selama 100 epoch, lalu uji pada video dan kamera langsung.

Yang Saya Bangun

• Dua dataset hasil rekaman sendiri: pemeriksaan keamanan (mengusap kepala, tangan kiri, tangan kanan, kaki) dan cuci tangan (menggosok tangan, punggung tangan, memercik tangan).
• Pipeline keypoint OpenPose yang mengubah video mentah menjadi urutan pose yang diratakan dan diberi frame lag.
• Klasifier aktivitas LSTM untuk setiap kasus, dilatih dan diuji dengan Keras/TensorFlow.
• Demo yang mengenali aktivitas dari video rekaman dan kamera langsung.

Dampak

Model mencapai akurasi uji 98% untuk pemeriksaan keamanan dan 63% untuk cuci tangan, menunjukkan bahwa keypoint pose cukup untuk mengenali rutinitas seluruh tubuh. Cuci tangan lebih sulit karena tidak semua keypoint membawa gerakan besar. Rekomendasi kami adalah seleksi fitur, sudut kamera yang lebih baik, data yang lebih bervariasi, dan memeriksa bahwa air benar-benar mengalir.