Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Journal of Applied Computing and Digital Information
Yudhiarma
Fakultas Dakwah dan Ilmu Komunikasi, UIN Syarif Hidayatullah Jakarta

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Evaluasi Kinerja Model LLM Terkuantisasi pada Tugas Bahasa Indonesia Muhamamad Romadhona Kusuma; Leo Ternado; Yudhiarma
Journal of Applied Computing and Digital Information Vol. 1 No. 01 (2025): January-June 2025
Publisher : Algoria Global

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.12345/jacodi.v1i01.141

Abstract

Kemajuan teknologi Large Language Model (LLM) telah membawa perkembangan signifikan dalam pemrosesan bahasa alami (Natural Language Processing, NLP). Namun, ukuran model yang sangat besar sering menjadi kendala dalam penerapannya pada perangkat dengan sumber daya terbatas, seperti laptop. Kuantisasi model ke format GGUF menawarkan solusi dengan mengurangi ukuran model tanpa menurunkan kualitas secara signifikan.Penelitian ini bertujuan untuk mengevaluasi kinerja enam model LLM terkuantisasi GGUF Q4_K_M, yaitu DeepSeek-V2-Lite-Chat, Qwen2.5-3B-Instruct, openai_gpt-oss-20b, Phi-3-mini-4k-instruct, Meta-Llama-3.1-8B-Instruct, dan gemma-7b-it, pada tiga skenario utama: (1) menjawab pertanyaan dalam Bahasa Indonesia, (2) menyusun kesimpulan otomatis dari data kuantitatif, dan (3) menghasilkan narasi berita singkat. Evaluasi dilakukan menggunakan empat kriteria utama: Relevansi Jawaban (RJ), Kelengkapan Informasi (KI), Kealamian Bahasa (KB), dan Kemampuan Menyimpulkan Data (KD), serta kriteria tambahan untuk narasi berita yaitu Kesesuaian Gaya Jurnalistik (KJ), Keobjektifan (OB), dan Koherensi Narasi (KN).Hasil penelitian menunjukkan bahwa openai_gpt-oss-20b-Q4_K_M memperoleh skor tertinggi (4,80) dengan keunggulan dalam menyajikan kesimpulan singkat, akurat, dan informatif. Model Meta-Llama-3.1-8B-Instruct dan Qwen2.5-3B-Instruct juga menunjukkan kinerja kompetitif, sementara model dengan jumlah parameter lebih kecil seperti Phi-3-mini dan gemma-7b-it cenderung menghasilkan jawaban umum dengan detail terbatas. Temuan ini menegaskan bahwa ukuran dan kompleksitas model memiliki korelasi positif terhadap kualitas keluaran, terutama pada tugas penyusunan kesimpulan berbasis data dan pembuatan narasi berita.
Co-Authors Leo Ternado Muhamamad Romadhona Kusuma