Claim Missing Document
Check
Articles

Found 2 Documents
Search

Analisis Perbandingan Efektivitas Zero-Shot vs Chain-of-Thought Prompting dalam Meningkatkan Presisi Informasi pada LLM Berbasis Dokumen PDF Yahya, Kurnia; Moeis, Dikwan; Thamrin, Musdalifa; Yunarti, Sry; Felicia Watratan, Alvina; Mallu, Satriawaty
RIGGS: Journal of Artificial Intelligence and Digital Business Vol. 5 No. 1 (2026): Februari - April
Publisher : Prodi Bisnis Digital Universitas Pahlawan Tuanku Tambusai

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.31004/riggs.v5i1.6524

Abstract

Pemanfaatan Large Language Models (LLM) dalam ekosistem pendidikan tinggi untuk ekstraksi informasi akademik sering kali terkendala oleh fenomena halusinasi data yang dapat menyesatkan pengguna. Penelitian ini bertujuan untuk menganalisis perbandingan efektivitas antara teknik Zero-Shot dan Chain-of-Thought (CoT) prompting dalam upaya meningkatkan presisi informasi pada sistem Retrieval-Augmented Generation (RAG) yang berbasis dokumen PDF. Metode penelitian yang digunakan adalah eksperimen laboratorium dengan mengintegrasikan framework LangChain dan database vektor FAISS untuk memproses dokumen teknis berupa Panduan Akademik institusi. Evaluasi kualitas jawaban dilakukan melalui pendekatan hibrida, menggunakan metrik otomatis BERTScore untuk mengukur kemiripan semantik dan penilaian manusia (Human Evaluation) oleh pakar Teknologi Informasi untuk mengukur tingkat presisi serta validitas informasi secara kualitatif. Hasil penelitian menunjukkan bahwa teknik Chain-of-Thought secara konsisten mengungguli Zero-Shot di seluruh parameter evaluasi yang diuji. Peningkatan paling signifikan tercatat pada aspek validitas jawaban berdasarkan penilaian pakar sebesar 37,14%, serta kenaikan skor presisi pada metrik BERTScore sebesar 9,03%. Temuan ini membuktikan bahwa mekanisme penalaran logis secara bertahap pada teknik CoT mampu mereduksi halusinasi secara efektif dengan memastikan setiap klaim jawaban memiliki jejak audit yang kuat pada dokumen sumber. Implikasi praktis dari penelitian ini memberikan rekomendasi strategis bagi pengembang sistem informasi akademik untuk menerapkan pendekatan 'CoT-by-Design' guna membangun asisten virtual yang lebih akurat, etis, dan kredibel di lingkungan perguruan tinggi.
Strengthening AI and DSS Synergy for Sustainable Research: A Community Engagement for Lecturers and Researchers in Palopo Faisal, Muhammad; Usman, Nasir; Talib, Emil Agus Salim Habi; Prihatmono, Medy Wisnu; Ishak, Lisa Fitriani; Thamrin, Musdalifa; Darniati, Darniati; Watratan, Alvina Felicia; Saharuddin, Saharuddin; Akbar, Muh Ilham
I-Com: Indonesian Community Journal Vol 5 No 4 (2025): I-Com: Indonesian Community Journal (Desember 2025)
Publisher : Fakultas Sains Dan Teknologi, Universitas Raden Rahmat Malang

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.70609/i-com.v5i4.8547

Abstract

The rapid development of digital technology demands a more innovative and data-driven research paradigm, yet the utilization of Artificial Intelligence (AI) and Decision Support Systems (DSS) in academic environments remains hindered by digital literacy gaps and the dominance of subjective manual methods. This community engagement program aims to introduce and strengthen participants’ understanding of the synergy between AI and DSS in supporting sustainable research in the era of digital transformation. The program employed a participatory approach through the Quadruple Helix model involving 359 participants consisting of lecturers, researchers, and practitioners. Methods included interactive lectures, technical mentoring on hybrid intelligence (integration of Machine Learning and Multi-Criteria Decision Making), and collaborative discussions via the Zoom platform. The results indicate a 35.6% improvement in participants' digital literacy, with the mean score increasing from 62.5 to 84.8. Furthermore, the technical readiness survey yielded a high score of 4.35 on a Likert scale, with participants successfully identifying practical AI–DSS applications in smart agriculture and MSME development. This program has successfully established an initial foundation for an adaptive and inclusive research ecosystem.