Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Jurnal Telematika
Inge Martina
Institut Teknologi Harapan Bangsa
Computer Science & IT Electrical & Electronics Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Analisis Pengaruh Karakteristik Masukan Teks terhadap Kinerja MiniLMv2-L6-H384 dan BERT-Base-Uncased pada Quora Question Pairs Ken Ratri Wardani; Inge Martina; Jimmy Fong Xin Wern
Jurnal Telematika Vol. 20 No. 2 (2025)
Publisher : Yayasan Petra Harapan Bangsa

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.61769/telematika.v20i2.775

Abstract

Knowledge distillation merupakan teknik untuk menyederhanakan model bahasa besar menjadi model yang lebih ringkas dengan tetap mempertahankan akurasi. Bidirectional encoder representations from transformers (BERT) menawarkan kinerja kuat namun memerlukan sumber daya komputasi besar, sedangkan mini language model (MiniLM) memiliki ukuran model lima kali lebih kecil. Penelitian ini bertujuan membandingkan kinerja kedua model tersebut pada dataset quora question pairs dengan fokus pada pengaruh sequence length dan kelangkaan token (token rarity) terhadap akurasi klasifikasi. Kedua model dilatih menggunakan parameter pelatihan yang identik. Hasil pengujian menunjukkan BERT mencapai akurasi 91,22% dan F1-score 88,17%, sedikit lebih unggul dari MiniLM yang mencapai akurasi 90,12% dan F1-score 86,73%. Namun, MiniLM memberikan kecepatan inferensi 5,3 kali lebih cepat. Temuan ini memberikan panduan empiris untuk optimalisasi model untuk lingkungan dengan keterbatasan sumber daya komputasi atau kebutuhan respons real-time, di mana efisiensi MiniLM dapat diterima dengan sedikit penurunan akurasi. Penelitian mendatang disarankan untuk mengeksplorasi sistem hibrida yang mengalihkan tugas kompleks ke model besar dan tugas umum ke model yang lebih kecil.
Co-Authors Jimmy Fong Xin Wern Ken Ratri Retno Wardani