Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Jurnal Pengembangan Teknologi Informasi dan Komunikasi (JUPTIK)
Muhammad Azmi
Universitas Islam Negeri Sultan Syarif Kasim Riau
Computer Science & IT Control & Systems Engineering Engineering Library & Information Science

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Implementasi Fine Tuning Menggunakan Metode QLoRA Pada Sistem Tanya Jawab Hadits Muhammad Azmi; Fitra Kurnia; Nazruddin Safaat Harahap; Muhammad Irsyad; Pizaini; Arif Marsal
Jurnal Pengembangan Teknologi Informasi dan Komunikasi (JUPTIK) Vol. 4 No. 1 (2026): JURNAL PENGEMBANGAN TEKNOLOGI INFORMASI DAN KOMUNIAKSI (JUPTIK)
Publisher : Universitas Muhammadiyah Muara Bungo

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.52060/juptik.v4i1.4349

Abstract

Hadits Islam merupakan sumber hukum kedua dalam ajaran Islam, namun penerapan Large Language Model (LLM) pada domain ini menghadapi masalah halusinasi faktual dan kesalahan atribusi sitasi. Penelitian ini mengembangkan sistem tanya jawab hadits berbasis Qwen 2.5 7B Instruct melalui tiga tahap. Pertama, Supervised Fine tuning (SFT) dengan Quantized Low-Rank Adaptation (QLoRA) pada 988 pasangan instruksi-respons yang dipilih dari 1.730 data mentah menggunakan Instruction Following Difficulty (IFD) Scoring berbasis rasio perplexity pada rentang P20–P80. Kedua, Direct Preference Optimization (DPO) Iterasi 1 dengan strategi off-policy menyebabkan regresi perilaku model akibat perbedaan distribusi data. Ketiga, DPO Iterasi 2 dengan strategi on-policy penuh menghasilkan respons chosen (T=0,1) dan rejected (T=0,9) dari model SFT yang sama, menghasilkan 509 pasangan valid. Komponen Hybrid Retrieval-Augmented Generation (RAG) mengindeks 65.811 hadits dari 11 kitab di Qdrant Cloud menggunakan BGE-M3 dan BM25 dengan Reciprocal Rank Fusion. Evaluasi RAGAS v0.2.6 dengan hakim GPT-4o dan BERTScore berbasis xlm-roberta-base menunjukkan DPO Iterasi 2 memperoleh Faithfulness lebih tinggi (0,676 vs 0,633), Context Precision sempurna (1,000) pada kedua model, dan BERTScore F1 yang setara (0,8621 vs 0,8615). Temuan ini mengonfirmasi bahwa strategi on-policy DPO menghasilkan keselarasan perilaku yang lebih stabil untuk model bahasa domain-spesifik.
Co-Authors Arif Marsal Fitra Kurnia Muhammad Irsyad Nazruddin Safaat H Pizaini Pizaini