Sistem Question Answering (QA) terutama closed-domain QA memberikan efisiensi dan konsistensi pada layanan helpdesk untuk menyajikan jawaban yang relevan dan akurat. Secara tradisional sistem QA sangat bergantung pada kesamaan kata antara query dan dokumen, sehingga rentan terhadap permasalahan lexical gap. Untuk mengatasi keterbatasan tersebut, pendekatan semantik dikembangkan guna menangkap kesamaan makna secara kontekstual. Penelitian ini bertujuan untuk mengevaluasi dan membandingkan kinerja metode retrieval berbasis leksikal, yaitu Term Frequency-Inverse Document Frequency (TF-IDF) dan Best Matching 25 (BM25), dengan pendekatan semantik menggunakan Sentence Bidirectional Encoder Representations from Transformers (SBERT) pada sistem closed-domain QA. Evaluasi dilakukan menggunakan dataset helpdesk yang dikumpulkan secara mandiri, serta divalidasi menggunakan dataset benchmark, seperti SQuAD v1.1, IDK-MRC, TechQA, dan COVID-QA. Kinerja sistem diukur menggunakan metrik information retrieval standar, meliputi Recall@k, Mean Reciprocal Rank (MRR), dan Normalized Discounted Cumulative Gain (NDCG). Hasil eksperimen menunjukkan bahwa SBERT memberikan kinerja yang sangat kompetitif dan secara umum mencapai hasil terbaik pada dataset yang dievaluasi. Pada dataset Helpdesk, SBERT mencapai Recall@1 99,814%, MRR 99,902%, dan NDCG@3 99,922%. Namun, pada dataset TechQA, TF-IDF dan BM25 menghasilkan Recall@1 yang lebih tinggi dibandingkan SBERT. Temuan ini menunjukkan keunggulan pendekatan semantik tidak selalu berlaku pada setiap dataset, terutama ketika pertanyaan dan jawaban memiliki kemiripan leksikal yang kuat. Secara keseluruhan, hasil penelitian menunjukkan SBERT merupakan pendekatan yang efektif dan kompetitif untuk sistem closed-domain QA.
Copyrights © 2026