Claim Missing Document
Check
Articles

Found 34 Documents
Search

Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 Emor, Stevren Christian; Irene R. H. T. Tangkawarow; Audy A. Kenap
Jurnal Sistem dan Informatika (JSI) Vol 19 No 2 (2025): Jurnal Sistem dan Informatika (JSI)
Publisher : Direktorat Penelitian,Pengabdian Masyarakat dan HKI - Institut Teknologi dan Bisnis (ITB) STIKOM Bali

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.30864/jsi.v19i2.735

Abstract

Pemilihan Umum (Pemilu) merupakan pilar demokrasi yang rentan terhadap polarisasi opini publik dan penyebaran disinformasi di media sosial. Untuk memahami dinamika tersebut, diperlukan pendekatan analisis semantik guna mengidentifikasi potensi kerawanan pemilu. Penelitian ini bertujuan membandingkan kinerja dua model berbasis transformer, IndoBERT dan XLNet, dalam mengukur kemiripan semantik antara komentar media sosial (Twitter/X) dan indikator Indeks Kerawanan Pemilu (IKP) 2024. Data diperoleh melalui teknik crawling sebanyak 574 tweet dengan kata kunci “Pemilu2024”. Tahapan penelitian meliputi preprocessing (pembersihan data, tokenizing, normalisasi, dan stemming), analisis menggunakan model IndoBERT dan XLNet, perhitungan cosine similarity, serta evaluasi melalui Confusion Matrix (akurasi, presisi, recall, F1-score) dan Expert Judgment. Hasil menunjukkan bahwa XLNet memiliki performa lebih baik dengan akurasi 76%, presisi 69,5%, recall 80%, dan F1-score 74,3%, dibandingkan IndoBERT dengan akurasi 59,7%, presisi 54,3%, recall 60,9%, dan F1-score 57,3%. Penelitian ini berkontribusi dalam pengembangan metode komparatif berbasis Natural Language Processing (NLP) untuk mendeteksi potensi isu kerawanan pemilu melalui analisis opini publik di media sosial sebagai dukungan bagi pengawasan partisipatif Bawaslu
Comparison of the Performance of Support Vector Machines and Naïve Bayes in Analyzing Sentiment Regarding Money Politics in the 2024 General Election Olgraciella Manitik; Irene R.H.T Tangkawarow; Alfiansyah Hasibuan
Journal of Vocational, Informatics and Computer Education Vol 4, No 2 (2026): June 2026
Publisher : Academic Bright Collaboration

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.66053/voice.v4i2.494

Abstract

Purpose – This study aims to compare the performance of the Support Vector Machine (SVM) and Naïve Bayes algorithms in classifying public sentiment on money politics in the 2024 General Election in Indonesia, as well as to determine which algorithm has the highest accuracy, precision, recall, and F1-score. Methods – A total of 1,280 Indonesian-language tweets from the X platform containing the keyword “money politics” were collected and preprocessed. Of these, 384 tweets were manually labeled by two annotators (Cohen’s Kappa = 0.9493). TF-IDF and SMOTE feature extraction were applied before splitting the data into training (70%) and testing (30%) sets. Model evaluation used accuracy, precision, recall, F1-score, ROC-AUC, paired t-test, and bootstrap confidence intervals. Findings – Naïve Bayes (α=0.1) achieved accuracy 79.31%, precision 70.73%, recall 70.73%, F1-score 0.7073, ROC-AUC 0.8387. SVM (C=1, kernel RBF) achieved 77.59%, 85.71%, 43.90%, 0.5806, 0.8410. Paired t-test (p=0.8326) showed comparable performance across 10-fold CV. Naïve Bayes demonstrated better stability (bootstrap CI [0.5974–0.8101] vs. SVM [0.4193–0.7294]). Research implications – The methodological framework (preprocessing, SMOTE, TF-IDF, tuning, 10-fold CV, paired t-test, bootstrap CI) serves as a reference for election-related text classification in Indonesia. Results offer initial insights for election monitoring agencies (e.g., Bawaslu). Originality – This study provides a comparison of SVM and Naïve Bayes specifically for detecting money politics sentiment in the 2024 Indonesian election, a topic with limited prior research. It applies structured pipeline including manual labeling (high inter-annotator agreement), SMOTE, and statistical validation (paired t-test, bootstrap CI).
Text Classification of 2024 Regional Head Elections Logistics Distribution in Online News Using Support Vector Machine Murni Kassa; Irene Realyta Haldy Trosi Tangkawarow; Audy Aldrin Kenap
Journal of Embedded Systems, Security and Intelligent Systems Vol 7 No 2 (2026): June 2026
Publisher : Program Studi Teknik Komputer

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.59562/jessi.v7i2.2619

Abstract

Purpose – This study aims to classify online news related to logistics distribution issues in the 2024 Indonesian Regional Head Elections using Support Vector Machine and imbalance handling strategies. Design/methods/approach – A total of 1,355 online news articles were collected from nine national news portals through web scraping. The research workflow involved data preprocessing, rule-based weak supervision, manual validation, TF–IDF feature extraction, oversampling using SMOTE and ADASYN, class-weighted learning, and SVM classification with Linear, RBF, Polynomial, and Sigmoid kernels. Model performance was evaluated using macro-averaged F1-score, 5-fold cross-validation, classification report, and confusion matrix analysis. Findings - The results show that Linear and RBF kernels produced more consistent performance than Polynomial and Sigmoid kernels for sparse TF–IDF representations. The RBF kernel with class-weighted learning achieved the highest hold-out macro F1-score of 0.641, although cross-validation results showed only marginal differences among top-performing configurations. The model performed well in classifying “No Issues” and “Damaged” categories but still struggled with the minority “Late” class. Research implications/limitations – The findings indicate that machine learning can support preliminary election logistics monitoring, but the model should not yet be used as a fully automated early-warning system due to minority-class limitations and weak-labeling constraints. Originality/value – This study contributes empirical evidence on SVM-based imbalanced text classification for election logistics news monitoring in the Indonesian Pilkada context.
Analisis Sentimen Terhadap Ulasan Aplikasi Bsgtouch Menggunakan Algoritma Support Vector Machine Semuel Fendy Ngalo; Irene R. H. T. Tangkawarow; Kristofel Santa
Jurnal Minfo Polgan Vol. 14 No. 2 (2025): Artikel Penelitian
Publisher : Politeknik Ganesha Medan

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.33395/jmp.v14i2.15636

Abstract

Analisis sentimen merupakan proses fundamental untuk mengekstrak opini publik dari ulasan pengguna aplikasi mobile banking, yang dianggap sebagai sumber data yang transparan dan menjadi indikator krusial bagi kepuasan serta risiko reputasi layanan digital. Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi model klasifikasi sentimen guna menganalisis polaritas ulasan pengguna aplikasi BSGtouch yang diperoleh dari Google Play Store. Metode machine learning diterapkan dengan algoritma Support Vector Machine (SVM). Dalam tahap pre-processing, data diperoleh melalui web scraping, dibersihkan, dan difokuskan pada penggunaan normalisasi kata (kamus normalisasi) untuk menghasilkan kosakata fitur yang terkonsolidasi, kemudian dibobot menggunakan Term Frequency-Inverse Document Frequency (TF-IDF) sebelum model dilatih dan diuji. Hasil analisis sentimen menunjukkan distribusi polaritas yang relatif seimbang, yakni 50,9% ulasan positif dan 49,1% ulasan negatif. Model yang dihasilkan membuktikan kinerja yang sangat kuat dan seimbang untuk kedua kelas dengan F1-score 0,89, mengindikasikan kecakapan prediktif yang setara untuk polaritas positif maupun negatif, dengan akurasi mencapai 88,35% pada data uji. Pembahasan menunjukkan bahwa meskipun akurasi model tinggi, persentase sentimen negatif yang signifikan (49,1%) merefleksikan adanya isu kritis yang perlu segera ditangani. Kesimpulan penelitian ini secara empiris menegaskan bahwa temuan distribusi sentimen tersebut mengharuskan PT Bank SulutGo memprioritaskan penyelesaian masalah teknis pada aplikasi mobile banking BSGtouch demi menjaga dan meningkatkan kualitas layanan berdasarkan opini dari ulasan pengguna.
Deteksi Ujaran Kebencian Pada Media Sosial Terkait Pemilu 2024 Menggunakan Algoritma Naive Bayes Adesyan Lahinda; Irene R.H.T. Tangkawarow; Efraim R.S. Moningkey
Jurnal Minfo Polgan Vol. 14 No. 2 (2025): Artikel Penelitian
Publisher : Politeknik Ganesha Medan

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.33395/jmp.v14i2.15665

Abstract

Pemilu 2024 memiliki peranan yang sangat krusial dalam sistem demokrasi Indonesia, terutama karena didominasi oleh pemilih muda yang aktif menggunakan media sosial sebagai alat komunikasi politik. Namun, kondisi ini juga menghadirkan tantangan besar, terutama dengan meningkatnya penyebaran ujaran kebencian yang dapat dianggap sebagai pelanggaran Pemilu. Konten semacam ini terus meningkat, berpotensi merusak citra dan kualitas Pemilu serta mengganggu proses demokrasi. Meskipun ujaran kebencian telah diatur dalam Undang-Undang Pemilu dan Undang-Undang Informasi dan Transaksi Elektronik (ITE), pengawasan secara manual masih sulit dilakukan karena banyaknya konten yang beredar di media sosial. Penelitian ini bertujuan untuk mendeteksi ujaran kebencian sebagai pelanggaran Pemilu 2024 di media sosial dengan menggunakan metode Naïve Bayes. Dataset yang digunakan terdiri dari 408 komentar dari Twitter dan 445 komentar dari YouTube. Data tersebut dikategorikan ke dalam dua kelompok, yaitu ujaran kebencian dan non-ujaran kebencian, kemudian diuji secara otomatis dan manual. Hasil penelitian menunjukkan bahwa model mencapai akurasi 100% untuk data Twitter dan YouTube pada pengujian otomatis, sedangkan pengujian manual memperoleh akurasi 95,00% untuk Twitter dan 92,59% untuk YouTube.
Penerapan Multi Criteria Decision Making Menggunakan Metode AHP & SAW pada Perhitungan Kinerja Karyawan PT. Artha Buana Kreasi Munir A.J. Tujuwale; Irene R.H.T. Tangkawarow; Audy A. Kenap
Jurnal Minfo Polgan Vol. 14 No. 2 (2025): Artikel Penelitian
Publisher : Politeknik Ganesha Medan

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.33395/jmp.v14i2.15848

Abstract

Penilaian kinerja karyawan merupakan aspek penting dalam memastikan efektivitas dan produktivitas perusahaan. PT. Artha Buana Kreasi selama ini menghadapi kendala dalam proses evaluasi karena belum adanya sistem yang terstruktur dan objektif. Penelitian ini menerapkan pendekatan Multi Criteria Decision Making (MCDM) menggunakan metode Analytic Hierarchy Process (AHP) dan Simple Additive Weighting (SAW) sebagai solusi untuk menghasilkan penilaian kinerja yang lebih akurat dan konsisten. Tiga kriteria utama yang digunakan dalam penelitian ini adalah servant leadership, employee performance, dan employee competence, masing-masing dengan sejumlah sub-kriteria terkait. AHP digunakan untuk menentukan bobot prioritas tiap kriteria melalui penyusunan matriks perbandingan, penghitungan nilai eigen, serta pengujian rasio konsistensi, sedangkan SAW digunakan untuk menghitung nilai akhir kinerja berdasarkan bobot dan skor penilaian setiap alternatif karyawan. Data diperoleh melalui wawancara dengan pihak manajemen serta penyebaran kuesioner kepada 20 karyawan dan atasan langsung sebagai penilai. Hasil penelitian menunjukkan bahwa integrasi metode AHP dan SAW mampu memberikan ranking karyawan yang lebih terukur, objektif, dan sesuai dengan bobot kriteria yang telah ditentukan. Selain itu, pendekatan ini membantu perusahaan mengidentifikasi aspek kinerja yang membutuhkan peningkatan serta mendukung proses pengambilan keputusan strategis di bidang manajemen sumber daya manusia. Secara keseluruhan, sistem evaluasi berbasis MCDM ini dinilai efektif untuk diterapkan sebagai model penilaian kinerja karyawan di PT. Artha Buana Kreasi.
Analisis Usability pada Website Pemerintah Daerah Kabupaten Minahasa Menggunakan Metode Heuristic Evaluation Timothy Tendean; Irene R.H.T. Tangkawarow
Edutik : Jurnal Pendidikan Teknologi Informasi dan Komunikasi Vol. 6 No. 3 (2026): EduTIK : Juni 2026
Publisher : Jurusan PTIK Universitas Negeri Manado

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.67142/edutik.v6i3.441

Abstract

ABSTRAK              Website Pemerintah Daerah Kabupaten Minahasa (minahasa.go.id) merupakan media utama penyampaian informasi dan layanan publik kepada masyarakat. Namun, sejauh ini belum pernah dilakukan pengukuran usability secara formal terhadap website tersebut. Penelitian ini bertujuan untuk mengukur tingkat usability website menggunakan metode Heuristic Evaluation berdasarkan 10 prinsip heuristik Nielsen. Data dikumpulkan melalui kuesioner berskala Likert kepada 154 responden yang terdiri dari pegawai Pemerintah Kabupaten Minahasa dan masyarakat umum. Hasil evaluasi menunjukkan bahwa sebagian besar prinsip heuristik memperoleh nilai rata-rata di atas 4,00 dengan severity rating 0 (tidak ada masalah). Permasalahan paling menonjol ditemukan pada prinsip Help and Documentation dengan severity rating 3 (major usability problem), diikuti oleh Error Prevention dan Help Users Recognize, Diagnose, and Recover from Errors dengan severity rating 2 (minor usability problem). Secara keseluruhan, website dinilai memiliki tingkat usability yang cukup baik namun masih memerlukan pengembangan pada aspek bantuan pengguna, pencegahan kesalahan, dan umpan balik sistem. ABSTRACT              The official website of Minahasa Regency Local Government (minahasa.go.id) serves as the primary medium for disseminating public information and services to the community. However, no formal usability assessment has previously been conducted on this website. This study aims to measure the usability level of the website using the Heuristic Evaluation method based on Nielsen's 10 heuristic principles. Data were collected through a Likert-scale questionnaire administered to 154 respondents comprising government employees and the general public. Evaluation results indicate that most heuristic principles achieved average scores above 4.00 with a severity rating of 0 (no problem). The most significant issue was identified in the Help and Documentation principle, receiving a severity rating of 3 (major usability problem), followed by Error Prevention and Help Users Recognize, Diagnose, and Recover from Errors with a severity rating of 2 (minor usability problem). Overall, the website demonstrates an adequate usability level but requires further development in user assistance, error prevention, and system feedback.
Studi Literatur Penerapan Topic Modeling Menggunakan Latent Dirichlet Allocation (LDA) dalam Analisis Dokumen dan Laporan Publik Citra Grace Kalangie; Irene R. H. T. Tangkawarow
Edutik : Jurnal Pendidikan Teknologi Informasi dan Komunikasi Vol. 6 No. 1 (2026): EduTIK : Februari 2026
Publisher : Jurusan PTIK Universitas Negeri Manado

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Perkembangan teknologi informasi menyebabkan peningkatan signifikan jumlah dokumen teks tidak terstruktur, khususnya dalam bentuk laporan dan dokumen publik. Kondisi ini menimbulkan tantangan dalam proses analisis manual yang tidak lagi efisien dari sisi waktu dan sumber daya. Salah satu pendekatan yang banyak digunakan untuk mengatasi permasalahan tersebut adalah topic modeling berbasis text mining, dengan Latent Dirichlet Allocation (LDA) sebagai metode yang paling populer. Penelitian ini bertujuan untuk mengkaji secara sistematis penerapan metode LDA dalam analisis dokumen dan laporan publik berdasarkan studi-studi terdahulu. Metode penelitian yang digunakan adalah studi literatur dengan menelaah artikel ilmiah dari jurnal nasional dan internasional yang relevan. Hasil kajian menunjukkan bahwa LDA efektif dalam mengidentifikasi topik laten pada data teks tidak terstruktur di berbagai konteks, termasuk media sosial, dokumen akademik, dan laporan institusional. Namun demikian, keterbatasan masih ditemukan pada aspek interpretasi topik dan penentuan jumlah topik yang optimal. Studi ini diharapkan dapat menjadi rujukan konseptual bagi penelitian lanjutan, khususnya dalam pemanfaatan LDA untuk analisis dokumen resmi pemerintahan.  
Studi Literatur: Analisis Penggunaan Support Vector Machine dalam Klasifikasi Teks Berita Distribusi Logistik Pilkada 2024 Murni Kassa; Irene Realyta Haldy Trosi Tangkawarow
Edutik : Jurnal Pendidikan Teknologi Informasi dan Komunikasi Vol. 6 No. 1 (2026): EduTIK : Februari 2026
Publisher : Jurusan PTIK Universitas Negeri Manado

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Pelaksanaan Pemilihan Kepala Daerah (Pilkada) tahun 2024 menuntut pengelolaan distribusi logistik yang akurat dan tepat waktu. Di sisi lain, masifnya produksi berita pada media daring menyebabkan proses pemantauan dan pengelolaan informasi menjadi sulit apabila dilakukan secara manual. Situasi ini menuntut penerapan metode otomatis berbasis text mining dan natural language processing untuk mengidentifikasi serta mengklasifikasikan berita yang relevan. Penelitian ini bertujuan untuk menelaah secara sistematis pemanfaatan algoritma Support Vector Machine (SVM) dalam klasifikasi teks berita daring, khususnya yang berkaitan dengan distribusi logistik Pilkada 2024. Metode yang digunakan adalah Systematic Literature Review (SLR) terhadap artikel ilmiah yang diterbitkan pada rentang tahun 2020–2025 dan membahas penerapan SVM dalam klasifikasi teks berita. Analisis dilakukan secara deskriptif kualitatif dengan meninjau perbedaan pendekatan metodologis, tahapan prapemrosesan, teknik representasi fitur, serta capaian kinerja algoritma yang dilaporkan pada penelitian sebelumnya. Hasil kajian menunjukkan bahwa algoritma SVM, terutama ketika dikombinasikan dengan pembobotan fitur Term Frequency–Inverse Document Frequency (TF-IDF), mampu memberikan performa klasifikasi yang stabil dan tinggi pada berbagai domain berita daring, dengan tingkat akurasi yang umumnya melampaui 85%. Meskipun demikian, kajian yang secara khusus berfokus pada klasifikasi berita terkait distribusi logistik Pilkada masih relatif terbatas. Oleh sebab itu, penelitian ini menegaskan adanya celah penelitian yang dapat dikembangkan lebih lanjut melalui penerapan SVM untuk klasifikasi berita distribusi logistik Pilkada 2024 secara lebih spesifik dan kontekstual.
Deteksi Hoaks Logistik Pemilu Menggunakan Support Vector Machine dengan SMOTE dan Retensi Negasi Christian Yehuda Tendean; Irene Realyta Haldy Trosi Tangkawarow
Edutik : Jurnal Pendidikan Teknologi Informasi dan Komunikasi Vol. 6 No. 1 (2026): EduTIK : Februari 2026
Publisher : Jurusan PTIK Universitas Negeri Manado

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Logistik pemilu merupakan elemen fisik vital dalam kedaulatan demokrasi, namun sering menjadi sasaran disinformasi yang menggunakan istilah teknis untuk memanipulasi opini publik (mimikri). Metode deteksi konvensional sering mengalami kegagalan semantik karena menghapus kata negasi dan bias akibat ketidakseimbangan jumlah data (imbalanced dataset). Penelitian ini bertujuan mengembangkan model deteksi otomatis hoaks logistik menggunakan algoritma Support Vector Machine (SVM) yang dioptimalkan. Metodologi penelitian menerapkan pendekatan kuantitatif eksperimental dengan tiga intervensi utama: (1) Targeted Scraping pada media terverifikasi dan situs debunking, (2) Preprocessing dengan teknik Retensi Negasi untuk menjaga konteks sanggahan, dan (3) Penerapan SMOTE (Synthetic Minority Over-sampling Technique) untuk menyeimbangkan kelas minoritas. Hasil pengujian pada dataset pilot menunjukkan bahwa integrasi SMOTE dan Retensi Negasi mampu menghasilkan performa dengan dominasi nilai Recall (Sensitivitas). Hal ini membuktikan bahwa model efektif mendeteksi hampir seluruh sampel hoaks tanpa bias kelas mayoritas, menjadikannya solusi tepat sebagai sistem peringatan dini, sementara Retensi Negasi mampu menjaga integritas makna pada kalimat krusial yang mengandung penyangkalan. Model yang diusulkan dirancang untuk memprioritaskan nilai Recall guna meminimalisir lolosnya informasi hoaks yang berpotensi memicu konflik sosial.