Q-Learning untuk Pembentukan dan Transmisi Jaringan 6TiSCH

Masalah

Di 6TiSCH, node yang bergabung mengirim pesan kontrol lewat satu "minimal cell" bersama, sehingga pesan yang sering saling bertabrakan dan memadati kanal, sementara Trickle timer yang mengatur lajunya memakai parameter tetap. Setelah jaringan berjalan, RPL memilih parent hanya berdasarkan transmisi gagal, tanpa memperhitungkan lalu lintas TSCH dan beban antrean, dan aturan pergantian parent-nya tidak adaptif. Akibatnya pembentukan jaringan lambat, paket hilang, energi terbuang, dan latensi meningkat.

Pendekatan

Saya memberi setiap node agen Q-learning ringan. Q-Trickle mengamati tingkat kesibukan minimal cell dan pemakaian antrean, memutuskan apakah setiap pesan routing (DIO) dikirim atau ditahan, menyesuaikan interval dan konstanta redundansi Trickle, menaikkan laju beacon di awal agar sinkronisasi cepat, dan membatasi lalu lintas lain di minimal cell. ACI-RPL mengamati pemakaian slotframe dan stabilitas metrik tautan untuk memutuskan kapan mengganti parent, berbagi Q-table ke node baru lewat pesan DIO, menilai parent dengan objective function yang memperhitungkan pemakaian cell dan lalu lintas, serta menentukan jumlah cell kirim awal dari tingkat paket yang hilang.

Cara Kerja

1. 1
   AmatiSetiap node mengukur kesibukan minimal cell, pemakaian antrean, pemakaian slotframe, dan kualitas tautan.
2. 2
   Putuskan: pembentukanQ-Trickle memilih mengirim atau menahan setiap DIO dan menyesuaikan interval serta redundansi Trickle.
3. 3
   Putuskan: transmisiACI-RPL memilih tetap atau mengganti parent, dinilai oleh objective function yang memperhitungkan pemakaian cell dan lalu lintas.
4. 4
   BagikanNode baru mewarisi Q-table dari kandidat parent lewat pesan DIO (multi-agent Q-learning kooperatif).
5. 5
   EvaluasiBenchmark di simulator 6TiSCH (hingga 100 node), lalu uji nyata di FIT IoT-LAB dengan OpenWSN.

Yang Saya Bangun

• Q-Trickle: keputusan DIO berbasis Q-learning, interval dan konstanta redundansi Trickle dinamis, laju beacon adaptif, dan batas transmisi pada minimal cell.
• ACI-RPL: pergantian parent dengan Q-learning kooperatif dan berbagi Q-table, objective function yang memperhitungkan pemakaian cell dan lalu lintas, serta alokasi cell kirim awal yang lebih baik.
• Studi parameter Q-learning dan analisis konvergensi, termasuk penambahan dan pengurangan node.
• Uji perangkat keras nyata di testbed FIT IoT-LAB Strasbourg dengan OpenWSN pada hingga 32 node ARM Cortex-M3.

Dampak

Dibanding Trickle timer asli, Q-Trickle memangkas waktu bergabung 13%, energi 11%, dan pesan routing gagal 43% (IEEE Access, 2023). Dibanding RPL standar, ACI-RPL menaikkan pengiriman paket 12% dan paket diterima 17%, serta memangkas energi 23% dan latensi 9% (IEEE Access, 2024). Masing-masing hanya butuh sekitar 4,3 KB firmware tambahan dan sekitar 100 byte RAM. Riset ini menjadi disertasi Ph.D. "Improving 6TiSCH Network Formation and Transmission using Q-Learning" (2023).