Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Journal of Computer Science and Information Technology
Syahrul Ramadhan
Universitas Muhammadiyah Makassar
Computer Science & IT Decision Sciences, Operations Research & Management Economics, Econometrics & Finance Environmental Science Social Sciences

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
IMPLEMENTASI MEKANISME QUEUE DAN WORKER UNTUK OPTIMASI UTILISASI GPU DALAM PEMROSESAN LAYANAN AI PADA BACKEND Syahrul Ramadhan; Muhyiddin AM Hayat; Rizki Yusliana Bakti; Titin Wahyuni; Fahrim Irhamna Rachman; Darniati
Journal of Computer Science and Information Technology Vol. 3 No. 4 (2026): September
Publisher : Yayasan Nuraini Ibrahim Mandiri

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.70248/jcsit.v3i4.4439

Abstract

Pengembangan layanan Kecerdasan Buatan (AI) berbasis Large Language Models (LLM) telah meningkatkan kebutuhan akan sistem backend yang mampu menangani proses inferensi secara efisien. Proses inferensi yang berjalan pada Graphics Processing Units (GPU) membutuhkan komputasi yang intensif, yang berpotensi menyebabkan hambatan (bottleneck) dan penggunaan GPU yang tidak optimal. Penelitian ini bertujuan untuk mengimplementasikan mekanisme queue dan worker pada backend layanan AI berbasis GPU, menganalisis dampak variasi jumlah worker terhadap kinerja sistem dan penggunaan GPU, serta menentukan konfigurasi worker yang paling optimal. Sistem ini dikembangkan menggunakan bahasa pemrograman Go dengan arsitektur berlapis, Redis sebagai message queue, Asynq sebagai pengelola queue dan worker, serta vLLM sebagai layanan inferensi AI berbasis GPU. Pengujian dilakukan menggunakan K6 dengan beban 50 virtual users selama 60 detik pada konfigurasi dengan 1, 2, 4, 8, dan 16 worker. Parameter yang dianalisis meliputi waktu respons (response time), throughput, tingkat kesalahan (error rate), penggunaan GPU (GPU utilization), dan waktu GPU menganggur (GPU idle time). Hasil penelitian menunjukkan bahwa peningkatan jumlah worker meningkatkan throughput dari 26,60 menjadi 142,91 requests/s, mengurangi waktu respons dari 1.904 menjadi 343,54 ms, dan meningkatkan penggunaan GPU dari 80,21% menjadi 100%. Semua konfigurasi menghasilkan error rate sebesar 0%, sementara waktu GPU menganggur menurun dari 18,3% menjadi 0%. Berdasarkan seluruh parameter pengujian, konfigurasi 8 worker memberikan keseimbangan terbaik antara kecepatan respons, kapasitas pemrosesan, dan efisiensi penggunaan GPU, sehingga menjadikannya konfigurasi paling optimal dalam lingkungan pengujian penelitian ini.
Co-Authors Bakti, Rizki Yusliana Darniati Fachrim Irhamna Rachman Muhyiddin A.M Hayat Titin Wahyuni