Journal of Artificial Intelligence and Digital Business
Vol. 5 No. 1 (2026): Februari - April

Analisis Perbandingan Efektivitas Zero-Shot vs Chain-of-Thought Prompting dalam Meningkatkan Presisi Informasi pada LLM Berbasis Dokumen PDF

Yahya, Kurnia (Unknown)
Moeis, Dikwan (Unknown)
Thamrin, Musdalifa (Unknown)
Yunarti, Sry (Unknown)
Felicia Watratan, Alvina (Unknown)
Mallu, Satriawaty (Unknown)



Article Info

Publish Date
10 Feb 2026

Abstract

Pemanfaatan Large Language Models (LLM) dalam ekosistem pendidikan tinggi untuk ekstraksi informasi akademik sering kali terkendala oleh fenomena halusinasi data yang dapat menyesatkan pengguna. Penelitian ini bertujuan untuk menganalisis perbandingan efektivitas antara teknik Zero-Shot dan Chain-of-Thought (CoT) prompting dalam upaya meningkatkan presisi informasi pada sistem Retrieval-Augmented Generation (RAG) yang berbasis dokumen PDF. Metode penelitian yang digunakan adalah eksperimen laboratorium dengan mengintegrasikan framework LangChain dan database vektor FAISS untuk memproses dokumen teknis berupa Panduan Akademik institusi. Evaluasi kualitas jawaban dilakukan melalui pendekatan hibrida, menggunakan metrik otomatis BERTScore untuk mengukur kemiripan semantik dan penilaian manusia (Human Evaluation) oleh pakar Teknologi Informasi untuk mengukur tingkat presisi serta validitas informasi secara kualitatif. Hasil penelitian menunjukkan bahwa teknik Chain-of-Thought secara konsisten mengungguli Zero-Shot di seluruh parameter evaluasi yang diuji. Peningkatan paling signifikan tercatat pada aspek validitas jawaban berdasarkan penilaian pakar sebesar 37,14%, serta kenaikan skor presisi pada metrik BERTScore sebesar 9,03%. Temuan ini membuktikan bahwa mekanisme penalaran logis secara bertahap pada teknik CoT mampu mereduksi halusinasi secara efektif dengan memastikan setiap klaim jawaban memiliki jejak audit yang kuat pada dokumen sumber. Implikasi praktis dari penelitian ini memberikan rekomendasi strategis bagi pengembang sistem informasi akademik untuk menerapkan pendekatan 'CoT-by-Design' guna membangun asisten virtual yang lebih akurat, etis, dan kredibel di lingkungan perguruan tinggi.

Copyrights © 2026






Journal Info

Abbrev

RIGGS

Publisher

Subject

Computer Science & IT Economics, Econometrics & Finance Electrical & Electronics Engineering Engineering

Description

Journal of Artificial Intelligence and Digital Business (RIGGS) is published by the Department of Digital Business, Universitas Pahlawan Tuanku Tambusai in helping academics, researchers, and practitioners to disseminate their research results. RIGGS is a blind peer-reviewed journal dedicated to ...