<![CDATA[Pengembangan layanan Kecerdasan Buatan (AI) berbasis Large Language Models (LLM) telah meningkatkan kebutuhan akan sistem backend yang mampu menangani proses inferensi secara efisien. Proses inferensi yang berjalan pada Graphics Processing Units (GPU) membutuhkan komputasi yang intensif, yang berpotensi menyebabkan hambatan (bottleneck) dan penggunaan GPU yang tidak optimal. Penelitian ini bertujuan untuk mengimplementasikan mekanisme queue dan worker pada backend layanan AI berbasis GPU, menganalisis dampak variasi jumlah worker terhadap kinerja sistem dan penggunaan GPU, serta menentukan konfigurasi worker yang paling optimal. Sistem ini dikembangkan menggunakan bahasa pemrograman Go dengan arsitektur berlapis, Redis sebagai message queue, Asynq sebagai pengelola queue dan worker, serta vLLM sebagai layanan inferensi AI berbasis GPU. Pengujian dilakukan menggunakan K6 dengan beban 50 virtual users selama 60 detik pada konfigurasi dengan 1, 2, 4, 8, dan 16 worker. Parameter yang dianalisis meliputi waktu respons (response time), throughput, tingkat kesalahan (error rate), penggunaan GPU (GPU utilization), dan waktu GPU menganggur (GPU idle time). Hasil penelitian menunjukkan bahwa peningkatan jumlah worker meningkatkan throughput dari 26,60 menjadi 142,91 requests/s, mengurangi waktu respons dari 1.904 menjadi 343,54 ms, dan meningkatkan penggunaan GPU dari 80,21% menjadi 100%. Semua konfigurasi menghasilkan error rate sebesar 0%, sementara waktu GPU menganggur menurun dari 18,3% menjadi 0%. Berdasarkan seluruh parameter pengujian, konfigurasi 8 worker memberikan keseimbangan terbaik antara kecepatan respons, kapasitas pemrosesan, dan efisiensi penggunaan GPU, sehingga menjadikannya konfigurasi paling optimal dalam lingkungan pengujian penelitian ini.]]>
Copyrights © 2026
