Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal KARMAPATI (Kumpulan Artikel Mahasiswa Pendidikan Teknik Informatika) ISSN: 2252-9063
I Putu Agus Wendika Ferdiana
Universitas Pendidikan Ganesha
Computer Science & IT Education

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Pengembangan Layanan Informasi Publik Program Studi Pendidikan Teknik Informatika Undiksha Melalui Asisten Virtual Berbasis LLM dan RAG I Putu Agus Wendika Ferdiana; I Ketut Resika Artana; Dewa Gede Hendra Divayana
KARMAPATI (Kumpulan Artikel Mahasiswa Pendidikan Teknik Informatika) Vol. 15 No. 2 (2026): [ONGOING] Karmapati Vol 15 No 2 Tahun 2026
Publisher : Universitas Pendidikan Ganesha

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.23887/karmapati.v15i2.112738

Abstract

Penelitian ini dilatarbelakangi kesenjangan informasi dan rendahnya minat baca mahasiswa terhadap teks informasi yang panjang di Program Studi Pendidikan Teknik Informatika (PTI) Universitas Pendidikan Ganesha. Sebagai solusi, dikembangkan sistem Asisten Virtual cerdas berbasis Large Language Model (LLM) dan arsitektur Modular Retrieval-Augmented Generation (RAG) menggunakan metode Research and Development (R&D) dengan kerangka ADDIE. Fokus utama penelitian ini adalah implementasi modifikasi arsitektur Self-RAG berbasis prompt dan evaluasi komparatif kinerja antara model GPT-4o mini dan Llama 3.1. Pengujian menggunakan framework RAGAS menunjukkan bahwa GPT-4o mini memiliki performa yang lebih unggul dan stabil dibandingkan Llama 3.1, mendominasi pada metrik Faithfulness (0,8869), Answer Correctness (0,6784), dan Answer Relevancy (0,6970), serta memiliki efisiensi komputasi yang jauh lebih baik dengan rentang latensi 13,91 – 27,56 detik. Meskipun Llama 3.1 unggul tipis pada Context Recall (0,9944 vs 0,9819), model tersebut mengalami kendala latensi yang sangat lambat (hingga 314,03 detik). Kelayakan sistem meraih skor sempurna 1,00 (Sangat Valid) dari Ahli Isi dan Ahli Teknis/Usability, serta tingkat penerimaan pengguna melalui System Usability Scale (SUS) sebesar 81,11 (Excellent). Dengan demikian, Asisten Virtual menggunakan model GPT-4o mini terbukti layak, akurat, dan efektif meningkatkan efisiensi penyampaian informasi akademik.
Co-Authors Dewa Gede Hendra Divayana, Dewa Gede Hendra I Ketut Resika Artana