Claim Missing Document
Check
Articles

Found 1 Documents
Search

Implementasi Model Sentence-BERT untuk Peningkatan Semantic Retrieval pada Sistem Question Answering Layanan Helpdesk Ticketing Adhityah Anugrah; Julian Supardi
JURIKOM (Jurnal Riset Komputer) Vol. 13 No. 5 (2026): Oktober 2026
Publisher : Universitas Budi Darma

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.30865/jurikom.v15i5.10021

Abstract

Sistem Question Answering (QA) terutama closed-domain QA memberikan efisiensi dan konsistensi pada layanan helpdesk untuk menyajikan jawaban yang relevan dan akurat. Secara tradisional sistem QA sangat bergantung pada kesamaan kata antara query dan dokumen, sehingga rentan terhadap permasalahan lexical gap. Untuk mengatasi keterbatasan tersebut, pendekatan semantik dikembangkan guna menangkap kesamaan makna secara kontekstual. Penelitian ini bertujuan untuk mengevaluasi dan membandingkan kinerja metode retrieval berbasis leksikal, yaitu Term Frequency-Inverse Document Frequency  (TF-IDF) dan Best Matching 25 (BM25), dengan pendekatan semantik menggunakan Sentence Bidirectional Encoder Representations from Transformers (SBERT) pada sistem closed-domain QA. Evaluasi dilakukan menggunakan dataset helpdesk yang dikumpulkan secara mandiri, serta divalidasi menggunakan dataset benchmark, seperti SQuAD v1.1, IDK-MRC, TechQA, dan COVID-QA. Kinerja sistem diukur menggunakan metrik information retrieval standar, meliputi Recall@k, Mean Reciprocal Rank (MRR), dan Normalized Discounted Cumulative Gain (NDCG). Hasil eksperimen menunjukkan bahwa SBERT memberikan kinerja yang sangat kompetitif dan secara umum mencapai hasil terbaik pada dataset yang dievaluasi. Pada dataset Helpdesk, SBERT mencapai Recall@1 99,814%, MRR 99,902%, dan NDCG@3 99,922%. Namun, pada dataset TechQA, TF-IDF dan BM25 menghasilkan Recall@1 yang lebih tinggi dibandingkan SBERT. Temuan ini menunjukkan keunggulan pendekatan semantik tidak selalu berlaku pada setiap dataset, terutama ketika pertanyaan dan jawaban memiliki kemiripan leksikal yang kuat. Secara keseluruhan, hasil penelitian menunjukkan SBERT merupakan pendekatan yang efektif dan kompetitif untuk sistem closed-domain QA.