Dzaky Zakiyal Fawwaz

Daewoong Pharmaceutical · 2021–2022

Deteksi Kualitas Enkapsulasi Real-Time

AI Engineer

Deteksi Kualitas Enkapsulasi Real-Time

Masalah

Enkapsulasi hanya mengawetkan material jika droplet keluar dengan ukuran dan bentuk sama, dalam rantai lurus dengan jarak merata. Setelan yang buruk menghasilkan droplet tidak seragam, aliran tidak stabil, dan penggabungan droplet. Tim perlu tahu dari kamera apakah proses dan setelan frekuensinya sudah baik.

Pendekatan

Dari 300 ribu gambar mentah pada 22 setelan frekuensi, frekuensi dengan tingkat keberhasilan tinggi diberi label baik. Satu frame bisa menyesatkan, jadi saya menyusun 16 frame berurutan menjadi satu grid gambar 2D, yang mempertahankan informasi temporal dengan biaya jauh lebih rendah daripada model 3D dan tetap mendukung class activation map. Klasifier EfficientNet memprediksi baik atau buruk, model kedua memprediksi rentang frekuensi, dan pemeriksaan activation map memastikan model melihat droplet.

Arsitektur

Arahkan kursor ke komponen untuk melihat koneksinya · geser untuk menggeser · gunakan + / − untuk zoom

  • Sumber
  • Pemrosesan
  • Model
  • Penyimpanan data
  • Output

Cara Kerja

  1. TangkapKamera enkapsulator menyimpan frame ke folder selama mesin berjalan.
  2. Grid16 frame berurutan disusun menjadi satu grid gambar persegi.
  3. KlasifikasiModel EfficientNet memprediksi enkapsulasi baik atau buruk, dan model kedua memprediksi rentang frekuensi (450 adalah optimal).
  4. JelaskanGrad-CAM, Grad-CAM++, Score-CAM, dan Faster Score-CAM menunjukkan area yang menentukan setiap prediksi.
  5. TampilkanAplikasi desktop menampilkan prediksi, log konsol, dan detail gambar secara real-time.

Yang Saya Bangun

  • Dataset grid gambar: 16 frame berurutan per sampel, dibangun dari 300 ribu gambar mentah pada 22 setelan frekuensi.
  • Klasifier baik/buruk EfficientNet-B0 (akurasi uji 93,5%) dan klasifier rentang frekuensi EfficientNet-B3 dengan 8 kelas (akurasi uji 83%).
  • Validasi model dengan Grad-CAM, Grad-CAM++, Score-CAM, dan Faster Score-CAM.
  • GUI real-time mandiri (Tkinter, dikemas dengan PyInstaller) yang memantau folder output kamera, sehingga operator dapat menjalankannya tanpa memasang Python atau TensorFlow.

Dampak

Model baik/buruk mencapai akurasi uji 93,5% dan model frekuensi 83%, dengan activation map yang berfokus pada droplet. Aplikasi dikirim sebagai satu file eksekusi yang berjalan di samping mesin dan memperbarui prediksi setiap ada frame baru.

Tangkapan Layar & Gambar

Aplikasi desktop prediksi bead real-time
Aplikasi mandiri: frame terakhir, grid 16 frame, prediksi kualitas dan frekuensi, serta log langsung.
Droplet keluar dari nosel enkapsulasi
Frame kamera mentah dari aliran droplet.
Frame droplet baik dan buruk
Frekuensi baik menghasilkan droplet seragam dan berjarak rata; frekuensi buruk menghasilkan droplet tidak seragam dan menyatu.
Class activation map pada grid gambar
Grad-CAM, Grad-CAM++, Score-CAM, dan Faster Score-CAM memastikan model memperhatikan droplet.
Kurva akurasi pelatihan dan pengujian
Akurasi model baik-vs-buruk selama 20 epoch.

Metrik Kunci

93.5%Akurasi uji baik vs buruk
83%Akurasi uji rentang frekuensi
300KGambar mentah pada 22 setelan frekuensi
16Frame berurutan per prediksi
2.4 sWaktu deteksi per batch 16 frame

Tumpukan Teknologi

PythonTensorFlow 2 / KerasEfficientNet-B0 / B3Grad-CAMTkinterPyInstallerimgaug