Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : Jurnal Fourier

Performa Naïve Bayes, SVM, dan IndoBERT pada Analisis Sentimen Twitter IndiHome dengan Strategi Penanganan Data Tidak Seimbang Anas Qolbu, Adinda; Fitriyati, Nina; Inayah, Nur
Jurnal Fourier Vol. 14 No. 1 (2025)
Publisher : Program Studi Matematika Fakultas Sains dan Teknologi UIN Sunan Kalijaga Yogyakarta

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.14421/fourier.2025.141.29-44

Abstract

Penelitian ini bertujuan untuk membandingkan performa tiga pendekatan analisis sentimen, yaitu Naïve Bayes, Support Vector Machine (SVM), dan Indonesian Bidirectional Encoder Representations from Transformers (IndoBERT), pada layanan IndiHome menggunakan data Twitter. Keterbatasan model tradisional melatarbelakangi penelitian ini dalam mengenali opini positif dan tantangan ketidakseimbangan data yang sering muncul dalam analisis berbasis media sosial. Data penelitian berupa 7393 tweet (Januari 2019–Agustus 2024) yang dilabeli secara manual menjadi sentimen positif dan negatif. Model dievaluasi menggunakan stratified 10-fold cross validation dan data uji, dengan penerapan teknik penanganan ketidakseimbangan berupa Synthetic Minority Oversampling Technique (SMOTE) dan pembobotan kelas (class weighting). Hasil menunjukkan IndoBERT unggul dengan akurasi 0,96 dan F1-score makro 0,95 tanpa penanganan khusus, sedangkan SVM mencapai akurasi 0,95 dengan pembobotan kelas, dan Naïve Bayes meningkat dari akurasi 0,89 menjadi 0,92 setelah SMOTE. Analisis tren sentimen menunjukkan opini negatif mendominasi, terutama terkait kecepatan dan kestabilan layanan. Temuan ini menegaskan bahwa IndoBERT lebih efektif dalam memahami konteks bahasa Indonesia, sementara teknik penanganan data tetap relevan untuk meningkatkan performa model tradisional. Hasil penelitian ini penting karena memberikan dasar empiris dalam pemilihan model analisis sentimen yang lebih akurat, adaptif terhadap bahasa Indonesia, dan bermanfaat dalam meningkatkan kualitas layanan.   This study aims to compare the performance of three sentiment analysis approaches, namely Naïve Bayes, Support Vector Machine (SVM), and Indonesian Bidirectional Encoder Representations from Transformers (IndoBERT), on IndiHome services using Twitter data. The limitations of traditional models underlie this study in recognizing positive opinions and the challenge of data imbalance that often arises in social media based analysis. The research data consist of 7,393 tweets (January 2019–August 2024) manually labeled into positive and negative sentiments. Models were evaluated using stratified 10-fold cross validation and test data, with the application of imbalance handling techniques such as Synthetic Minority Oversampling Technique (SMOTE) and class weighting. Results show IndoBERT excels with 0.96 accuracy and 0.95 macro F1-score without special handling, while SVM reaches 0.95 accuracy with class weighting, and Naïve Bayes improves from 0.89 to 0.92 accuracy after SMOTE. Sentiment trend analysis indicates negative opinions dominate, mainly regarding speed and service stability. These findings confirm IndoBERT is more effective in understanding Indonesian context, while data handling remains relevant for improving traditional models. This study’s results are important because they offer an empirical foundation for choosing sentiment analysis models that are more accurate, adaptive to Indonesian language, and useful for improving service quality.  
Co-Authors A, Marya Abidin, Saenal abu, ilham Adnan Adnan Adzim, Syahrun Afit Kurniawan Agustien Lilawati Ahmadong, Ahmadong Al Umairi, Mush'ab Alifiansyah, Fikri Alwi Alwi Amiruddin Amiruddin Amiruddin Anas Qolbu, Adinda Andrew Fiade Andriani, Desi Fatimah Andriani, Puspa Sari Anggraini, Dita Ardiansyah, Rama Arif Budiman Arraswita, Nailah Arumdani, Salsabila Asyurah Khas, Suci Aulinnia, Via Azhari, Nadia Devisa Bambang Purwanto Budi Utomo Choerunnisa, Esti Cholisa Rosanti Dermawan, Zikri Setia Dewi Dewi Diani Ayu Pratiwi Dwi Arsita Mursalim, Dwi Arsita Mursalim Elfrida Ratnawati Endry Fatimaningsih Fadillah, Muhammad Febry Fahira, Ainun Firmah, Andi Firmansyah Firmansyah Firmansyah, Nur Putriani Fitriahadi, Enny Hajrah Hajrah, Hajrah Hargiani, Fransisca Xaveria Hifdil Islam, Muhammad Hildawati Almah Huda, Nabila Ibrahim, Firmansyah Ikbal Inna, Suma Karlina, Dety Amelia Kustiana Arisanti Lailia Maghfiroh, Ummi Laksmi Ernawati, Ni Made Latif, Fatmawati Lestari, Evi Maulidia Lindhemutianingrum Siradje, Andi Mappatunru , Sakkirang Marwah Marwah Marya A, Marya A Masyithoh, Soffi Nur Mayasari, Andi Meliala, Alvina R. Muchriana Muchran Muh. Rizal MUHAMMAD HASBI Muhammad Kafrawi Muhammad Manaqib, Muhammad Muhaza Liebenlito Munawir, Ahmad Musti, M. Irvan Septiar Mutmainna Nina Fitriyati Novianti, Anggi Nur Hikmah Nurdinah Hanifah Nurfadilah Nurhayadi Nurhidayanti Rachman Saleh Rahmadani, Nurul Syafa Rahman Ramadhani, Devina Aulia Ratno Agriyanto Razak, Yusuf Razaq, Yusuf Reza Maulana Reza, Reza RIRIN INDRAWATI Riska Amalia Rita Rita, Rita Rizka Safitri, Rizka Rizkiani, Firliah Safitri, Mutiara Saleh, Rachman Salsabila, Rani Sari, Flori Ratna Sari, Yuni Artika Saskirana Satila, Hanna Trusty Satriani Satriani Satriani Septiar, M. Irvan Siti Maemunah Slamet Ifandi, Slamet Sofarida, Wiwin Sutanto, Taufik Edy Syafira, Nida Tang, Muhammad Touku Umar Tridiyawati, Feva Ulfah, Yeniati Warno, W Wayan Wangiyana Widistari, Sri Wijaya, Madona Yunita Yuli Puji Astutik, Yuli Yupinto, Ikhwal Zakariah, Miftahul Hidayah