Fine-Tuning LLaMA-2-Chat untuk ChatBot Penerjemah Bahasa Gaul menggunakan LoRA dan QLoRA - SUSILO, ANDRI; CHRISTANTI, VINY; LAURO, MANATAP DOLOK (Institut Teknologi Nasional Bandung, 2024)
AbstrakBahasa gaul, yang berkembang pesat di kalangan generasi Z dan Alpha, sering kali sulit dipahami oleh generasi lain atau dalam konteks formal. Bahasa ini memiliki variasi yang tidak terstruktur dan terus berubah, memerlukan model bahasa yang adaptif untuk memahaminya. Penelitian ini bertujuan untuk mengukur kualitas hasil terjemahan fine-tuning model LLaMA-2 dalam menerjemahkan bahasa gaul ke bahasa formal, dengan menggunakan metrik evaluasi BLEU Score sebagai alat utama. Selain itu, pendekatan LoRA dan QLoRA digunakan untuk meningkatkan efisiensi fine-tuning dengan mengurangi kebutuhan komputasi dan memori. Dataset yang digunakan terdiri dari data media sosial dan data buatan yang diformat dalam bentuk percakapan untuk menangkap konteks secara lebih baik. Hasil evaluasi menunjukkan skor BLEU terbaik sebesar 0.0369, yang menegaskan bahwa model masih perlu disempurnakan untuk menghasilkan terjemahan bahasa gaul yang optimal.Kata kunci: bahasa gaul, LLaMA-2, LoRA, QLoRAAbstractSlang, which is growing rapidly among generations Z and Alpha, is often difficult for other generations to understand or in formal contexts. This language has unstructured variations and is constantly changing, requiring adaptive language models to understand it. This research aims to measure the quality of the translation results of fine-tuning the LLaMA-2 model in translating slang into formal language, using the BLEU Score evaluation metric as the main tool. Additionally, LoRA and QLoRA approaches are used to improve fine-tuning efficiency by reducing computing and memory requirements. The dataset used consists of social media data and artificial data formatted in conversational form to better capture context. The evaluation results show the best BLEU score of 0.0369, which confirms that the model still needs to be refined to produce optimal slang translations.Kata Kunci: slang language, LLaMA-2, LoRA, QloRA