Nusantara Journal of Multidisciplinary Science
Vol. 4 No. 2 (2026): NJMS - September 2026

Analisis Perbandingan Metode Natural Language Processing (NLP) Klasik (Naïve Bayes, Support Vektor Machine) Dan Model Bidirectional Encoder Representations From Transformers (BERT) Dalam Klasifikasi Teks Berbahasa Indonesia

Ummul Farihah (Universitas Muhammadiyah Sumatera Utara)
Zainal Azis (Universitas Muhammadiyah Sumatera Utara)



Article Info

Publish Date
24 Sep 2026

Abstract

Pertumbuhan data teks berbahasa Indonesia di platform digital menuntut sistem klasifikasi sentimen yang akurat dan dapat dipertanggungjawabkan. Penelitian ini membandingkan Multinomial Naïve Bayes, Support Vector Machine (SVM) linear, dan IndoBERT pada dataset SmSA IndoNLU, sekaligus menguji signifikansi perbedaan performa dengan Uji McNemar. Dataset berjumlah 12.760 sampel yang terbagi menjadi 11.000 data latih, 1.260 data validasi, dan 500 data uji dengan distribusi kelas tidak seimbang. Model klasik menggunakan TF-IDF unigram-bigram dan preprocessing eksplisit, sedangkan IndoBERT menggunakan tokenisasi WordPiece. Macro F1-Score digunakan sebagai metrik utama. IndoBERT mencapai akurasi 88,60% dan Macro F1-Score 83,77%, diikuti SVM 76,20% dan 71,68%, serta Naïve Bayes 66,00% dan 60,99%. Pada kelas netral, F1-Score IndoBERT mencapai 67,67%, lebih tinggi daripada SVM 55,56% dan Naïve Bayes 46,48%. Seluruh perbedaan antarmodel signifikan secara statistik (p < 0,05). Hasil eksperimen diintegrasikan ke platform web Ummu NLP Lab yang menghasilkan metrik identik dengan notebook laboratorium serta mendukung reproduksibilitas eksperimen secara konsisten dan transparan.

Copyrights © 2026






Journal Info

Abbrev

njms

Publisher

Subject

Religion Humanities Computer Science & IT Languange, Linguistic, Communication & Media

Description

Nusantara Journal of Multidisciplinary Science (NJMS) adalah jurnal yang prestisius untuk eksplorasi ilmiah di persilangan berbagai disiplin. NJMS berperan sebagai pusat intelektual yang mendorong dialog dan kolaborasi mendalam di berbagai bidang pengetahuan. Dengan proses review yang ketat, NJMS ...