Article Per Year (5 Year)
p-Index From 2021 - 2026
0.444
P-Index
This Author published in this journals
All Journal Journal of Innovation and Future Technology (IFTECH) APPA : Jurnal Pengabdian Kepada Masyarakat
Tukiyat
Universitas Pamulang
Computer Science & IT Economics, Econometrics & Finance Education Electrical & Electronics Engineering Engineering Law, Crime, Criminology & Criminal Justice Library & Information Science Medicine & Pharmacology

Published : 2 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 2 Documents
Search

 1 
ANALISIS DAN EVALUASI KINERJA CHATBOT PENERIMAAN MAHASISWA BARU BERBASIS LLM DENGAN PENDEKATAN RAG Daerobby; Tukiyat; Ahmad Musyafa
Journal of Innovation And Future Technology Vol. 8 No. 1 (2026): Vol 8 No 1 (Februari 2026): Journal of Innovation and Future Technology (IFTECH
Publisher : LPPM Unbaja

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.47080/iftech.v8i1.4452

Abstract

The advancement of artificial intelligence has driven LLM-based chatbot implementation in education, particularly for New Student Admission (PMB) services. This research analyzes and evaluates an LLM-based PMB chatbot using Retrieval-Augmented Generation (RAG) at Politeknik Krakatau. The system integrates three LLM models (GPT-4 Turbo, Mistral Devstral, Xiaomi Mimo-v2) with FAISS and LangChain. Comprehensive evaluation uses eight standard metrics: four for retrieval (Recall@3, Precision@3, MRR, NDCG@3) and four for generation (BERTScore, ROUGE-1, ROUGE-L, METEOR), with 100 questions across six categories. Results show the retrieval component achieves excellent performance with Recall@3 of 1.000 (perfect), MRR of 0.756, and NDCG@3 of 0.864, indicating effective document finding and ranking. For generation, Mistral Devstral demonstrates best performance with BERTScore of 0.755, ROUGE-1 of 0.604, and METEOR of 0.427, followed by GPT-4 Turbo (BERTScore 0.723) and Xiaomi Mimo-v2 (BERTScore 0.718). These comprehensive results enable evidence-based model selection, producing a chatbot delivering accurate, contextually relevant, and consistent responses to prospective students. This directly addresses slow and inefficient admission services by reducing administrative workload through automated, high-quality information provision while improving response speed and reliability. Compared to previous studies, this research provides the most comprehensive evaluation of RAG-based PMB chatbots in Indonesia, with retrieval performance surpassing prior studies and offering actionable insights bridging technical metrics and real-world service improvement in higher education institutions.
Pemanfaatan Artificial Intelligence dalam Pengembangan Aplikasi Pembelajaran di Era Digital Mahardika Paramarta Laia; Ismatullah; Mizanul Hakim; Muhammad Haikal Abdussalam; Yudi Candra; Harasta Rahman Tri Putra; Tukiyat; Sajarwo Anggai
APPA : Jurnal Pengabdian Kepada Masyarakat Vol 3 No 4 (2025): APPA : Jurnal Pengabdian kepada Masyarakat
Publisher : Shofanah Media Berkah

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Perkembangan teknologi kecerdasan buatan (Artificial Intelligence/AI) telah membawa transformasi signifikan dalam bidang pendidikan, khususnya dalam pengembangan aplikasi pembelajaran digital. Penelitian ini menganalisis pemanfaatan AI dalam meningkatkan efektivitas pembelajaran melalui personalisasi konten, analitik prediktif, dan umpan balik real-time, dengan validasi melalui studi kasus implementasi di SMA Muhammadiyah 08 Ciputat. Dengan menggunakan metodologi studi literatur dan evaluasi empiris, kami mengidentifikasi tiga tema utama: (1) peluang pedagogis melalui pembelajaran adaptif dan penilaian otomatis, (2) peningkatan engagement siswa hingga 60% melalui chatbot dan tutor virtual, dan (3) tantangan etika terkait privasi data dan bias algoritma. Hasil implementasi praktis menunjukkan bahwa penerapan aplikasi pembelajaran berbasis AI meningkatkan pemahaman siswa sebesar 40-50% pada kelompok pilot, meningkatkan motivasi belajar secara signifikan, dan membantu guru dalam memantau perkembangan belajar siswa secara sistematis. Evaluasi terhadap 20 siswa kelas X menunjukkan peningkatan keaktifan belajar, pemahaman konsep yang lebih baik, dan hasil posttest yang lebih tinggi dibandingkan dengan pembelajaran konvensional. Namun, diperlukan kerangka kerja etika yang kuat, pelatihan guru yang komprehensif, dan pendampingan berkelanjutan untuk memaksimalkan manfaat AI dalam pendidikan digital. Penelitian ini menyimpulkan bahwa AI memiliki potensi besar untuk menjadi katalis transformasi pendidikan di era digital, tetapi dengan tetap mempertahankan peran humanistik pendidik dan komitmen terhadap pembelajaran yang inklusif.
Co-Authors Ahmad Musyafa Anggai, Sajarwo Daerobby Harasta Rahman Tri Putra Ismatullah Mahardika Paramarta Laia Mizanul Hakim Muhammad Haikal Abdussalam Yudi Candra