Sistem Deteksi Kebosanan dan Kantuk Mahasiswa Pada Proses Pembelajaran Berbasis YOLOv11 yang diimplementasikan dengan NCNN di Raspberry Pi - Ramadhany, Dandy; Henryranu Prasetio, Barlian (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2025)
Kebosanan dan kantuk mahasiswa selama proses pembelajaran menjadi tantangan serius karena dapat menurunkan konsentrasi, keterlibatan, dan efektivitas pengajaran. Deteksi kondisi ini umumnya masih bergantung pada observasi manual yang subjektif dan sulit dilakukan secara konsisten, terutama pada kelas dengan jumlah mahasiswa besar. Oleh karena itu, diperlukan sistem otomatis yang mampu memantau indikator fisiologis secara real time pada perangkat berdaya terbatas. Sistem dirancang untuk mendeteksi indikator fisiologis berupa blink rate, blink duration, yawn frequency, dan microsleep secara real time. Hasil pengujian menunjukkan bahwa sistem mencapai akurasi mAP sebesar 96.91% pada YOLOv11 standar dan 95.86% pada YOLOv11 yang telah dikonversi ke NCNN, dengan akurasi praktis deteksi berkisar 78–80% (YOLOv11) dan 76–77% (NCNN). Sistem terbukti stabil dalam mendeteksi kantuk berat melalui microsleep dan blink panjang, meskipun masih terbatas dalam mendeteksi blink cepat (<0,4 detik) dan yawn singkat. Analisis perbandingan memperlihatkan bahwa konversi ke NCNN tidak menurunkan akurasi secara signifikan (penurunan <2%), tetapi memberikan keuntungan nyata pada aspek kecepatan inferensi. Pada Raspberry Pi, resolusi input 320 px menghasilkan kompromi terbaik dengan mAP@0.5 sekitar 93.50, FPS 5.78, dan latency 170.66 ms, sedangkan resolusi 256 px meningkatkan kecepatan (FPS 7.81, latency 126 ms) dengan konsekuensi penurunan akurasi (mAP@0.5 91.81). Secara keseluruhan, YOLOv11 dengan NCNN lebih layak digunakan untuk penerapan pada perangkat berdaya terbatas karena efisiensi inferensi real-time yang dihasilkan. Kebaruan penelitian ini terletak pada penerapan YOLOv11 yang dikonversi ke NCNN untuk mendeteksi indikator fisiologis sederhana (mata tertutup, menguap, dan microsleep) dalam konteks pembelajaran mahasiswa, yang sebelumnya jarang dieksplorasi pada perangkat edge berdaya rendah seperti Raspberry Pi.