JURIKOM (Jurnal Riset Komputer)
Vol. 13 No. 5 (2026): Oktober 2026

Implementasi Model Sentence-BERT untuk Peningkatan Semantic Retrieval pada Sistem Question Answering Layanan Helpdesk Ticketing

Adhityah Anugrah (Universitas Sriwijaya)
Julian Supardi (Universitas Sriwijaya)



Article Info

Publish Date
31 Oct 2026

Abstract

Sistem Question Answering (QA) terutama closed-domain QA memberikan efisiensi dan konsistensi pada layanan helpdesk untuk menyajikan jawaban yang relevan dan akurat. Secara tradisional sistem QA sangat bergantung pada kesamaan kata antara query dan dokumen, sehingga rentan terhadap permasalahan lexical gap. Untuk mengatasi keterbatasan tersebut, pendekatan semantik dikembangkan guna menangkap kesamaan makna secara kontekstual. Penelitian ini bertujuan untuk mengevaluasi dan membandingkan kinerja metode retrieval berbasis leksikal, yaitu Term Frequency-Inverse Document Frequency  (TF-IDF) dan Best Matching 25 (BM25), dengan pendekatan semantik menggunakan Sentence Bidirectional Encoder Representations from Transformers (SBERT) pada sistem closed-domain QA. Evaluasi dilakukan menggunakan dataset helpdesk yang dikumpulkan secara mandiri, serta divalidasi menggunakan dataset benchmark, seperti SQuAD v1.1, IDK-MRC, TechQA, dan COVID-QA. Kinerja sistem diukur menggunakan metrik information retrieval standar, meliputi Recall@k, Mean Reciprocal Rank (MRR), dan Normalized Discounted Cumulative Gain (NDCG). Hasil eksperimen menunjukkan bahwa SBERT memberikan kinerja yang sangat kompetitif dan secara umum mencapai hasil terbaik pada dataset yang dievaluasi. Pada dataset Helpdesk, SBERT mencapai Recall@1 99,814%, MRR 99,902%, dan NDCG@3 99,922%. Namun, pada dataset TechQA, TF-IDF dan BM25 menghasilkan Recall@1 yang lebih tinggi dibandingkan SBERT. Temuan ini menunjukkan keunggulan pendekatan semantik tidak selalu berlaku pada setiap dataset, terutama ketika pertanyaan dan jawaban memiliki kemiripan leksikal yang kuat. Secara keseluruhan, hasil penelitian menunjukkan SBERT merupakan pendekatan yang efektif dan kompetitif untuk sistem closed-domain QA.

Copyrights © 2026






Journal Info

Abbrev

jurikom

Publisher

Subject

Computer Science & IT Control & Systems Engineering Electrical & Electronics Engineering

Description

JURIKOM (Jurnal Riset Komputer) membahas ilmu dibidang Informatika, Sistem Informasi, Manajemen Informatika, DSS, AI, ES, Jaringan, sebagai wadah dalam menuangkan hasil penelitian baik secara konseptual maupun teknis yang berkaitan dengan Teknologi Informatika dan Komputer. Topik utama yang ...