ComEngApp : Computer Engineering and Applications Journal
Vol. 15 No. 2 (2026)

LoTQA: Local Benchmarking of Large Language Models for Table Question Answering

Muhammad Arya All Fajri (Universitas Sriwijaya)
Muhammad Ikhsan Rizki Pratama (Universitas Sriwijaya)
Firdaus Firdaus (Universitas Sriwijaya)
Abdiansah Abdiansah (Universitas Sriwijaya)



Article Info

Publish Date
01 Jun 2026

Abstract

TableQA memainkan peran penting dalam mendukung pengambilan keputusan berbasis data dan meningkatkan efisiensi pencarian informasi. Penggunaan Large Language Models (LLM) melalui layanan cloud atau API eksternal memungkinkan sistem untuk secara otomatis memahami struktur tabel dan konteks pertanyaan, melakukan generalisasi, penalaran kontekstual, dan memahami hubungan semantik antar entitas dalam tabel untuk menghasilkan jawaban yang lebih relevan dan akurat. Pendekatan ini mengakibatkan peningkatan signifikan dalam biaya komputasi, potensi risiko keamanan data, dan keterbatasan dalam pengembangan, kustomisasi, dan pengujian model. Penelitian ini mengusulkan LoTQA untuk tugas TableQA. LoTQA adalah pendekatan yang memanfaatkan eksekusi lokal untuk mengevaluasi dan membandingkan metode LLM dalam menghasilkan jawaban dari data tabel terstruktur. Evaluasi kinerja pada LoTQA (Qwen3:4b, LoRA Fine-tuned) memperoleh nilai SacreBLUE sebesar 8,613, BLEU-1 sebesar 35,623, BLEU-2 sebesar 26,592, BLEU-3 sebesar 22,723, ROUGE-1 sebesar 0,364, ROUGE-2 sebesar 0,177, ROUGE-L sebesar 0,311, dan METEOR sebesar 0,317. Hasil ini menunjukkan bahwa metode LoTQA cukup baik dalam menyediakan kalimat yang bermakna secara semantik untuk prediksi, bahkan dengan sumber daya yang rendah. Hasil evaluasi kinerja untuk setiap model LLM yang digunakan menunjukkan bahwa model Qwen3:4b mencapai skor tertinggi untuk SacreBLEU, ROUGE-1, ROUGE-2, ROUGE-L, dan METEOR. Studi ini menunjukkan bahwa LoTQA berkinerja cukup baik pada tugas TableQA, meskipun dengan sumber daya yang rendah.

Copyrights © 2026






Journal Info

Abbrev

comengapp

Publisher

Subject

Computer Science & IT Engineering

Description

ComEngApp-Journal (Collaboration between University of Sriwijaya, Kirklareli University and IAES) is an international forum for scientists and engineers involved in all aspects of computer engineering and technology to publish high quality and refereed papers. This Journal is an open access journal ...