Article Per Year (5 Year)
p-Index From 2020 - 2025
0.92
P-Index
This Author published in this journals
All Journal Jurnal Teknologi Terpadu Indonesian Journal Computer Science (ijcs) DBESTI: Journal of Digital Business and Technology Innovation Innovative Business Management Journal Journal of Management, Economic, and Accounting Jurnal Pendidikan, Hukum, Komunikasi
Rahmah, Amalia
Unknown Affiliation
Computer Science & IT Decision Sciences, Operations Research & Management Economics, Econometrics & Finance Education Engineering Languange, Linguistic, Communication & Media Law, Crime, Criminology & Criminal Justice Library & Information Science Other

Published : 6 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : Indonesian Journal Computer Science (ijcs)

 1 
Analisa Prompt Engineering pada Large Language Model dengan Retrieval-Augmented Generation untuk Informasi Obat dan Vitamin Haromain, Imam; Munir, Sirojul; Rahmah, Amalia
Indonesian Journal Computer Science Vol. 4 No. 2 (2025): Oktober 2025
Publisher : LPPM Universitas Bina Sarana Informatika

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.31294/ijcs.v4i2.10005

Abstract

Penelitian ini bertujuan melakukan analisa efektivitas dua gaya prompt, yaitu prompt bebas (zero-shot) dan prompt terbimbing (few-shot), pada model Large Language Model (LLM) berbasis Retrieval-Augmented Generation (RAG) dengan topik spesifik kesehatan, yaitu obat dan vitamin. Metode penelitian yang digunakan adalah eksperimen dengan menguji respons model terhadap sepuluh pertanyaan yang dirancang berdasarkan dokumen PDF dari sumber terpercaya, seperti Kementerian Kesehatan dan WHO. Proses ini bertujuan untuk mengevaluasi sejauh mana model mampu memberikan jawaban yang relevan, akurat, serta sesuai konteks ketika diberi perbedaan gaya prompt. Evaluasi kualitas jawaban dilakukan menggunakan dua metrik populer dalam Natural Language Processing, yaitu BERTScore untuk menilai kesesuaian semantik, dan ROUGE untuk mengukur kesesuaian tekstual. Hasil penelitian menunjukkan bahwa prompt bebas menghasilkan skor BERTScore yang cukup baik (Precision 69,74%, Recall 70,97%, F1 70,30%), namun cenderung rendah pada ROUGE. Sebaliknya, prompt terbimbing menunjukkan peningkatan kinerja, baik pada BERTScore (Precision 70,23%, Recall 73,32%, F1 71,64%) maupun ROUGE. Hasil penelitian menunjukan, penggunaan prompt terbimbing lebih efektif dalam menjaga keseimbangan antara kesesuaian semantik dan tekstual, sehingga berpotensi mendukung pengembangan sistem informasi kesehatan berbasis LLM secara lebih andal dan praktis.
Co-Authors Depy Muhamad Pauzy Dwi Sundari, Ayu Haromain, Imam Irawan, Irly Artiara Sirojul Munir