Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : MIND (Multimedia Artificial Intelligent Networking Database) Journal

Fine-Tuning LLaMA-2-Chat untuk ChatBot Penerjemah Bahasa Gaul menggunakan LoRA dan QLoRA SUSILO, ANDRI; CHRISTANTI, VINY; LAURO, MANATAP DOLOK
MIND (Multimedia Artificial Intelligent Networking Database) Journal Vol 9, No 2 (2024): MIND Journal
Publisher : Institut Teknologi Nasional Bandung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26760/mindjournal.v9i2.248-260

Abstract

AbstrakBahasa gaul, yang berkembang pesat di kalangan generasi Z dan Alpha, sering kali sulit dipahami oleh generasi lain atau dalam konteks formal. Bahasa ini memiliki variasi yang tidak terstruktur dan terus berubah, memerlukan model bahasa yang adaptif untuk memahaminya. Penelitian ini bertujuan untuk mengukur kualitas hasil terjemahan fine-tuning model LLaMA-2 dalam menerjemahkan bahasa gaul ke bahasa formal, dengan menggunakan metrik evaluasi BLEU Score sebagai alat utama. Selain itu, pendekatan LoRA dan QLoRA digunakan untuk meningkatkan efisiensi fine-tuning dengan mengurangi kebutuhan komputasi dan memori. Dataset yang digunakan terdiri dari data media sosial dan data buatan yang diformat dalam bentuk percakapan untuk menangkap konteks secara lebih baik. Hasil evaluasi menunjukkan skor BLEU terbaik sebesar 0.0369, yang menegaskan bahwa model masih perlu disempurnakan untuk menghasilkan terjemahan bahasa gaul yang optimal.Kata kunci: bahasa gaul, LLaMA-2, LoRA, QLoRAAbstractSlang, which is growing rapidly among generations Z and Alpha, is often difficult for other generations to understand or in formal contexts. This language has unstructured variations and is constantly changing, requiring adaptive language models to understand it. This research aims to measure the quality of the translation results of fine-tuning the LLaMA-2 model in translating slang into formal language, using the BLEU Score evaluation metric as the main tool. Additionally, LoRA and QLoRA approaches are used to improve fine-tuning efficiency by reducing computing and memory requirements. The dataset used consists of social media data and artificial data formatted in conversational form to better capture context. The evaluation results show the best BLEU score of 0.0369, which confirms that the model still needs to be refined to produce optimal slang translations.Kata Kunci: slang language, LLaMA-2, LoRA, QloRA
Co-Authors Adrian Adrian Agus Toni Ahza Rafie Khalis Andrew Andrew Andrew Jhosua Andry Winata Angeline Alviona Meilyta Ariesta, Cindy Maharani Aryanatta Paramita Tiratana Aurelius Ondio Lamlo Axel Mikaya bagus Mulyawan Bagus Mulyawan Benhard, Benhard Billy Alexander Suherli Billy Marcelino Billy Wang Bryan Valentino Jayadi Chung, Cecillia David David David David Delya Delya Delya, Delya Desi Arisandi Destu Adiyanto Devi Ayu Permatasari Dyah Erni Herwindiati Dyah Erny Herwindiati Dyah Erny Herwindiati Edison, Hans Edric Aryanto Edwin Jayadi Edy Susanto Ericko, Teddy Ery Dewayani Febryan Valentino Tansen Ferdian Sugiarto Ferry Fernando Franky Wijaya Franky Yoga Gabriel Ivan Setyaputra Garneto Alvan Gozali, Carisha Puspa halim, philip bryan Handhayani@, Teny Hendrawan Cahyady Hugeng Hugeng Jacky jacky James Suryapranata Jayadi, Bryan Valentino Jeanny Pragantha Jeanny Pragantha Jessica Henry Jett Enrico Chandra Juan Elber Kristian Kelvin Kennedy Stefano Laksono Trisnantoro Lina Lioviani Gavrilla Lorico Salim Lucas Lucas Marvellino Matthew Oni Maulana Sandy Dermawan Mega Pertiwi Mulyono, Prisca Bebby Triola Angela Natalie, Cynthia Nicko Sebastian Noviandi Noviandi Oni, Matthew Puteri, Carissa Putri Oktariana Putri Shafira Reza Ghaudi Farhad Ricky Soeputra Shela Stephanie Wijaya Sugiarto Leo Surya Halim Susilo, Andri Teddy Ericko Tedja, Peter James Teny Handhayani Tony Tony Valentinus Vallian Viny Christanti M Wasino Wasino Wasino Winata, Andry Yanto Yanto Yosia Amadeus Ishak Zyad Rusdi Zyad Rusdi Zyad Rusdi