Article Per Year (5 Year)
p-Index From 2020 - 2025
0.23
P-Index
This Author published in this journals
All Journal JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika)
Mahendra, Anton
Unknown Affiliation
Computer Science & IT Education

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Implementasi Lowk-Rank Adaptation of Large Langauage Model (LoRA) Untuk Effisiensi Large Language Model Mahendra, Anton; Styawati, Styawati
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 9, No 4 (2024)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v9i4.5519

Abstract

Model transformator seperti LlaMA 2 sangat kuat untuk memproses berbagai tugas bahasa alami, namun memiliki kekuatan pemrosesan yang signifikan dan keterbatasan memori yang membuatnya sulit untuk diimplementasikan. Tantangan terbesarnya terletak pada konsumsi sumber daya penyimpanan yang besar dan kebutuhan daya komputasi dalam jumlah besar. Untuk mengatasi permasalahan tersebut, dikembangkan solusi berupa implementasi LoRA (Low Rank Adapter). LoRA, khususnya di LlaMA 2, menggunakan pendekatan adaptif dalam mengompresi model Transformer menggunakan adaptor berdaya rendah. Penerapan LoRA pada model ini mengurangi jumlah operasi floating-point, sehingga mempercepat proses pelatihan dan inferensi.  Secara signifikan mengurangi  konsumsi daya dan penggunaan memori. Tujuan utama penerapan LoRA di LlaMA 2 adalah untuk mengoptimalkan efisiensi model, dengan fokus pada pengurangan operasi floating-point dan meningkatkan penggunaan memori GPU.
Co-Authors Styawati, Styawati