IMPLEMENTASI FINE-TUNING UNTUK PREDIKSI SOLUSI DARI KALIMAT MASALAH PADA ARTIKEL ILMIAH MENGGUNAKAN LARGE LANGUAGE MODELS (LLM) - Nurinayah, Alfiyatu; Chaerul Haviana, Sam Farisa (Universitas Islam Sultan Agung, 2025)
Prediksi solusi kalimat masalah dalam artikel ilmiah merupakan suatu tantangan karena tidak semua kalimat masalah dalam artikel menyebutkan solusi secara eksplisit. Penelitian ini mengembangkan model berbasis fine-tuning Llama 3.2 1B Instruct untuk memprediksi solusi dari kalimat masalah. Model dilatih dengan 99 pasangan kalimat masalah-solusi untuk memahami pola hubungan keduanya. Evaluasi menggunakan ROUGE menunjukkan skor ROUGE-1 sebesar 0,611, ROUGE-2 sebesar 0,496, dan ROUGE-L sebesar 0,576. Selama pelatihan, loss menurun dari 0.4394 pada epoch pertama menjadi 0.0286 pada epoch kelima, menunjukkan peningkatan pemahaman model. Namun, model mengalami kesulitan dalam memprediksi solusi dari permasalahan di luar cakupan data latih dan hasilnya terkadang kurang relevan saat diterapkan dalam aplikasi, kemungkinan karena keterbatasan komputasi. Penelitian lebih lanjut diperlukan untuk meningkatkan akurasi dan stabilitas model pada sistem dengan sumber daya terbatas