Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal ComEngApp : Computer Engineering and Applications Journal
Muhammad Ikhsan Rizki Pratama
Universitas Sriwijaya
Computer Science & IT Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
LoTQA: Local Benchmarking of Large Language Models for Table Question Answering Muhammad Arya All Fajri; Muhammad Ikhsan Rizki Pratama; Firdaus Firdaus; Abdiansah Abdiansah
Computer Engineering and Applications Journal Vol. 15 No. 2 (2026)
Publisher : Universitas Sriwijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.18495/comengapp.v15i2.1350

Abstract

TableQA memainkan peran penting dalam mendukung pengambilan keputusan berbasis data dan meningkatkan efisiensi pencarian informasi. Penggunaan Large Language Models (LLM) melalui layanan cloud atau API eksternal memungkinkan sistem untuk secara otomatis memahami struktur tabel dan konteks pertanyaan, melakukan generalisasi, penalaran kontekstual, dan memahami hubungan semantik antar entitas dalam tabel untuk menghasilkan jawaban yang lebih relevan dan akurat. Pendekatan ini mengakibatkan peningkatan signifikan dalam biaya komputasi, potensi risiko keamanan data, dan keterbatasan dalam pengembangan, kustomisasi, dan pengujian model. Penelitian ini mengusulkan LoTQA untuk tugas TableQA. LoTQA adalah pendekatan yang memanfaatkan eksekusi lokal untuk mengevaluasi dan membandingkan metode LLM dalam menghasilkan jawaban dari data tabel terstruktur. Evaluasi kinerja pada LoTQA (Qwen3:4b, LoRA Fine-tuned) memperoleh nilai SacreBLUE sebesar 8,613, BLEU-1 sebesar 35,623, BLEU-2 sebesar 26,592, BLEU-3 sebesar 22,723, ROUGE-1 sebesar 0,364, ROUGE-2 sebesar 0,177, ROUGE-L sebesar 0,311, dan METEOR sebesar 0,317. Hasil ini menunjukkan bahwa metode LoTQA cukup baik dalam menyediakan kalimat yang bermakna secara semantik untuk prediksi, bahkan dengan sumber daya yang rendah. Hasil evaluasi kinerja untuk setiap model LLM yang digunakan menunjukkan bahwa model Qwen3:4b mencapai skor tertinggi untuk SacreBLEU, ROUGE-1, ROUGE-2, ROUGE-L, dan METEOR. Studi ini menunjukkan bahwa LoTQA berkinerja cukup baik pada tugas TableQA, meskipun dengan sumber daya yang rendah.
Co-Authors Abdiansah, Abdiansah Firdaus Firdaus Muhammad Arya All Fajri