Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : Indonesian Journal Computer Science (ijcs)

Analisa Prompt Engineering pada Large Language Model dengan Retrieval-Augmented Generation untuk Informasi Obat dan Vitamin Haromain, Imam; Munir, Sirojul; Rahmah, Amalia
Indonesian Journal Computer Science Vol. 4 No. 2 (2025): Oktober 2025
Publisher : LPPM Universitas Bina Sarana Informatika

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.31294/ijcs.v4i2.10005

Abstract

Penelitian ini bertujuan melakukan analisa efektivitas dua gaya prompt, yaitu prompt bebas (zero-shot) dan prompt terbimbing (few-shot), pada model Large Language Model (LLM) berbasis Retrieval-Augmented Generation (RAG) dengan topik spesifik kesehatan, yaitu obat dan vitamin. Metode penelitian yang digunakan adalah eksperimen dengan menguji respons model terhadap sepuluh pertanyaan yang dirancang berdasarkan dokumen PDF dari sumber terpercaya, seperti Kementerian Kesehatan dan WHO. Proses ini bertujuan untuk mengevaluasi sejauh mana model mampu memberikan jawaban yang relevan, akurat, serta sesuai konteks ketika diberi perbedaan gaya prompt. Evaluasi kualitas jawaban dilakukan menggunakan dua metrik populer dalam Natural Language Processing, yaitu BERTScore untuk menilai kesesuaian semantik, dan ROUGE untuk mengukur kesesuaian tekstual. Hasil penelitian menunjukkan bahwa prompt bebas menghasilkan skor BERTScore yang cukup baik (Precision 69,74%, Recall 70,97%, F1 70,30%), namun cenderung rendah pada ROUGE. Sebaliknya, prompt terbimbing menunjukkan peningkatan kinerja, baik pada BERTScore (Precision 70,23%, Recall 73,32%, F1 71,64%) maupun ROUGE. Hasil penelitian menunjukan, penggunaan prompt terbimbing lebih efektif dalam menjaga keseimbangan antara kesesuaian semantik dan tekstual, sehingga berpotensi mendukung pengembangan sistem informasi kesehatan berbasis LLM secara lebih andal dan praktis.
Co-Authors - Sudradjat, - Adawiyah, Robiyatul adriansyah, ahmad rio Afifah, Raihana Cindy Agustini, Rina Al Fajri, Fikri Pratama Ali, Muhammad Fadlullah Annisa, Fitriani Asqia, Misna Asuudi, Alvin Qudrata Atsani K.H, Syahla Aufah, Anifatul Az Zahra, Fatimah Azhar, Muhamad Faqih Fadil, Fikri Nurul Fadlullah Ali, Muhammad Fauziah, Fatia Fauziah, Syifa Tazkiy Fauzieah, Melly Luthfi Fawwaz, Sya'diyah Nur Gartner, Alvino Gunawan, Heryanto Hariandini, Erisna Haromain, Imam Herdiana Herdiana, Herdiana Hidayatullah, Asep Ibnu Rusydi Imaduddin, Zaki Indra Permana Solihin Juandi, Juju Khoirunnisa', Ria Kudang Boro Seminar Liyantono, - Lukman Rosyidi Mahmudin, Dede Maududi, Izzuddin Al Qossam Maulidina, Sherly Miftachurrohman, Miftachurrohman Mohamad Bayu Wibisono Muchtar, Ahmad Zaini Muhamad Tarmizi Mulyadi, U. Andi Nabarian, Tifanny Ningtias, Fany Noviadi, Andri Noviandi, Andri Noviandi Novianto, Mohammad Akmaluddin Nurmaulida, Dela Nurvelly Rosanti, Nurvelly Pramulya, Diwan Pratama, Restu Aditya Pujawati, Raden Dewi Putra, Muhammad Rizky Arinugraha Putri, Ardyah Ramadhina Irsani Rahmah, Amalia Retnani Latifah, Retnani Rifki, Raden Rinjani, Annisa Rizkyawati, Risya Rochlik, Genisa Gading Rohayati, Nia Sefianingsih, Dewi Septiani, Kuati Setiawan, Regita Puji Pramesti Shodiq, Ahmad Siti Andini Sri Mulyani Suhendi, - SUNARTI, NETI Surya, Tubagus Muhammad Billal Zakky Tiara Aninditha Triwahyono, Bambang WAHYU FIRMANSYAH Wahyudi, Riyan WARDANI, ARI KUSUMAH Wiyono, Bambang Harie Yakin, Ainul Yunanda, Resta Yuniarti, Anisa