<![CDATA[Penelitian ini bertujuan melakukan analisa efektivitas dua gaya prompt, yaitu prompt bebas (zero-shot) dan prompt terbimbing (few-shot), pada model Large Language Model (LLM) berbasis Retrieval-Augmented Generation (RAG) dengan topik spesifik kesehatan, yaitu obat dan vitamin. Metode penelitian yang digunakan adalah eksperimen dengan menguji respons model terhadap sepuluh pertanyaan yang dirancang berdasarkan dokumen PDF dari sumber terpercaya, seperti Kementerian Kesehatan dan WHO. Proses ini bertujuan untuk mengevaluasi sejauh mana model mampu memberikan jawaban yang relevan, akurat, serta sesuai konteks ketika diberi perbedaan gaya prompt. Evaluasi kualitas jawaban dilakukan menggunakan dua metrik populer dalam Natural Language Processing, yaitu BERTScore untuk menilai kesesuaian semantik, dan ROUGE untuk mengukur kesesuaian tekstual. Hasil penelitian menunjukkan bahwa prompt bebas menghasilkan skor BERTScore yang cukup baik (Precision 69,74%, Recall 70,97%, F1 70,30%), namun cenderung rendah pada ROUGE. Sebaliknya, prompt terbimbing menunjukkan peningkatan kinerja, baik pada BERTScore (Precision 70,23%, Recall 73,32%, F1 71,64%) maupun ROUGE. Hasil penelitian menunjukan, penggunaan prompt terbimbing lebih efektif dalam menjaga keseimbangan antara kesesuaian semantik dan tekstual, sehingga berpotensi mendukung pengembangan sistem informasi kesehatan berbasis LLM secara lebih andal dan praktis.]]>
Copyrights © 2025
