Claim Missing Document
Check
Articles

Integrating ELECTRA and BERT models in transformer-based mental healthcare chatbot Zeniarja, Junta; Paramita, Cinantya; Subhiyakto, Egia Rosi; Rakasiwi, Sindhu; Shidik, Guruh Fajar; Andono, Pulung Nurtantio; Savicevic, Anamarija Jurcev
Indonesian Journal of Electrical Engineering and Computer Science Vol 37, No 1: January 2025
Publisher : Institute of Advanced Engineering and Science

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.11591/ijeecs.v37.i1.pp315-324

Abstract

Over the last decade, the surge in mental health disorders has necessitated innovative support methods, notably artificial intelligent (AI) chatbots. These chatbots provide prompt, tailored conversations, becoming crucial in mental health support. This article delves into the use of sophisticated models like convolutional neural network (CNN), long-short term memory (LSTM), efficiently learning an encoder that classifies token replacements accurately (ELECTRA), and bidirectional encoder representation of transformers (BERT) in developing effective mental health chatbots. Despite their importance for emotional assistance, these chatbots struggle with precise and relevant responses to complex mental health issues. BERT, while strong in contextual understanding, lacks in response generation. Conversely, ELECTRA shows promise in text creation but is not fully exploited in mental health contexts. The article investigates merging ELECTRA and BERT to improve chatbot efficiency in mental health situations. By leveraging an extensive mental health dialogue dataset, this integration substantially enhanced chatbot precision, surpassing 99% accuracy in mental health responses. This development is a significant stride in advancing AI chatbot interactions and their contribution to mental health support.
Penyusunan Analisis Kebutuhan Perangkat Lunak untuk Web Profil SMP Negeri 7 Semarang Utomo, Danang Wahyu; Kurniawan, Defri; Zeniarja, Junta; Dewi, Ika Novita; Salam, Abu; Muljono, Muljono
ABDIMASKU : JURNAL PENGABDIAN MASYARAKAT Vol 8, No 1 (2025): JANUARI 2025
Publisher : LPPM UNIVERSITAS DIAN NUSWANTORO

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.62411/ja.v8i1.2700

Abstract

Penggunaan web profil sebagai alat penyebaran informasi telah banyak digunakan pada institusi Pendidikan utamanya sekolah. SMP N 7 Semarang menggunakan web profil untuk menyampaikan informasi terkait identitas sekolah seperti visi dan misi sekolah, kurikulum serta kegiatan siswa dalam sekolah. Namun web tersebut masih terdapat kekurangan dan perlu diperbaiki menyesuaikan dengan perkembangan saat ini. Pemahaman tentang analisis kebutuhan perangkat lunak penting bagi para guru dan tenaga pendidik untuk mengetahui kebutuhan pengguna dan kebutuhan sistem yang harus disediakan dalam sistem. Program pengabdian Masyarakat dilaksanakan dalam bentuk pelatihan kepada para guru dan tenaga pendidik. Para peserta diberikan materi analisis kebutuhan termasuk kebutuhan pengguna, kebutuhan sistem, kebutuhan fungsional dan non-fungsional. Selain itu, para peserta juga menerima pelatihan tentang desain antarmuka pengguna dan tata letak konten situs web. Hasil dari program ini, para peserta dapat mengidentifikasi perbaikan yang diperlukan untuk situs web profil SMP N 7 Semarang. Fitur berita diidentifikasi sebagai kebutuhan fungsional yang perlu ditambahkan pada situs web profil. Untuk kebutuhan non-fungsional, para peserta menyarankan desain ulang tata letak konten web
Pola Beli Konsumen menggunakan Algoritma Fp-Growth untuk Rekomendasi Promosi penjualan pada Batik Nadya Pekalongan Edi Faisal; Junta Zeniarja; Deby Arida NiMatus Sa’adah
Prosiding Seminar SeNTIK Vol. 1 No. 1 (2017): Prosiding SeNTIK 2017
Publisher : Lembaga Penelitian dan Pengabdian Kepada Masyarakat

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Batik Nadya merupakan toko batik yang berada di Pekalongan. Banyaknya data transaksi pada Batik Nadya yang tersimpan dalam Microsoft Excel, menyebabkan penumpukan data. Himpunan data tersebut dapat diolah sehingga akan menghasilkan informasi yang bertujuan meningkatkan volume penjualan melalui strategi rekomendasi promosi produk batik. Data mining adalah ilmu yang dapat menganalisa data dalam jumlah besar sehingga mendapatkan informasi atau pengetahuan. Association Rule atau Market basket analysis merupakan salah satu teknik dalam data mining untuk menemukan pola pembelian konsumen berdasarkan data transaksi penjualan. Aturan asosiasi memiliki 2 parameter yaitu nilai support (nilai penunjang) dan confidence (nilai kepastian). Untuk menguji kekuatan aturan asosiasi yang terbentuk adalah dengan mengukur nilai lift ratio dari masing-masing rule. Dalam penelitian ini menggunakan Algoritma FP-Growth untuk mengolah data transaksi dalam jumlah besar, sehingga menghasilkan frequent itemsets melalui pembangunan FP-Tree dan menerapkan strategi divide and conquer. Dari pengujian yang dilakukan oleh sistem dengan menerapkan minimum support 2% dan min confidence 35%, menghasilkan tiga aturan asosiasi yang dapat digunakan untuk menentukan rekomendasi promosi produk. Hasil aturan asosiasi yang akan dijadikan target pemberian rekomendasi promosi paket discount item berpasangan pada Batik Nadya adalah produk yang memiliki keterkaitan paling tinggi yaitu {hem pria cap, atasan blus wanita} dengan lift ratio sebesar 1.74564, confidence 0.41042, dan support 2.41%.
Implementasi LDA, TF-IDF, dan BERT dalam Sistem Rekomendasi Dosen Pembimbing untuk Mahasiswa Syabilla, Mutiara; Zeniarja, Junta; Nabila, Qotrunnada
Building of Informatics, Technology and Science (BITS) Vol 6 No 4 (2025): March 2025
Publisher : Forum Kerjasama Pendidikan Tinggi

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.47065/bits.v6i4.6499

Abstract

The selection of thesis supervisors is often done manually, which tends to be time-consuming in matching students' research topics with the expertise of faculty members. This study develops a thesis supervisor recommendation system based on the title and abstract of students' final projects, integrating Latent Dirichlet Allocation (LDA), Term Frequency-Inverse Document Frequency (TF-IDF), and Bidirectional Encoder Representations from Transformers (BERT). The research dataset includes 1,096 records from 71 faculty members in the Informatics Engineering Department at Universitas Dian Nuswantoro, collected through Google Scholar. The analysis process begins with text preprocessing such as case folding, tokenization, and stemming, followed by topic analysis using LDA, term-specific weighting through TF-IDF, and context-rich vector representation using BERT. The model matches students' research topics with faculty expertise using Cosine Similarity. Evaluation results show an accuracy of 80%, precision of 66%, and recall of 19%, indicating that the model can provide accurate recommendations, though some relevant items are still missed. This model proves effective in facilitating the selection of thesis supervisors. This research is expected to assist students in finding suitable supervisors and help faculty members identify students with relevant research interests.
Optimizing Mental Health Classification on Reddit: A Comparative Study of Adam, RMSProp, and SGD with L2 Regularization Putra, Vander Mulya; Zeniarja, Junta
Building of Informatics, Technology and Science (BITS) Vol 6 No 4 (2025): March 2025
Publisher : Forum Kerjasama Pendidikan Tinggi

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.47065/bits.v6i4.6532

Abstract

The rising prevalence of mental health discussions on social media platforms has created new opportunities for understanding and supporting individuals facing psychological challenges. This study examines the automated classification of mental health content on Reddit, focusing on five clinically significant conditions (ADHD, anxiety, bipolar disorder, depression, and PTSD) and non-clinical discussions. Reddit was selected as the primary data source due to its unique subreddit structure and rich user-generated content in mental health communities, where individuals actively seek support and share experiences. Using a Multi-layer Perceptron (MLP) architecture, the study conducted a comprehensive evaluation of three optimization algorithms (Adam, RMSProp, and SGD) in conjunction with L2 regularization (λ=0.01) for mental health text classification. The study incorporated Easy Data Augmentation (EDA) techniques to enhance model robustness, implementing paraphrase-based augmentation methods that improved classification performance by 3%. Through systematic evaluation across multiple metrics, the study found that the RMSProp optimizer without L2 regularization achieved optimal performance, demonstrating 83% precision and 82% recall across all diagnostic categories. Notably, the application of L2 regularization consistently resulted in decreased model performance across all optimizers, with performance degradation ranging from 3% to 52%. These findings contribute to the development of more accurate automated mental health monitoring systems while highlighting the critical role of optimizer selection in mental health-related Natural Language Processing (NLP) tasks.
Optimasi Algoritma K-Nearest Neighbors Menggunakan GridSearchCV untuk Klasifikasi Penyakit Diabetes Yaqin, Ainul; Kurniawan, Defri; Zeniarja, Junta
Infotekmesin Vol 16 No 1 (2025): Infotekmesin: Januari 2025
Publisher : P3M Politeknik Negeri Cilacap

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.35970/infotekmesin.v16i1.2557

Abstract

Diabetes is a chronic disease that has a significant impact on global health, with prevalence increasing every year. Therefore, early detection is crucial to prevent further complications and save lives. The utilization of technology, such as machine learning, offers innovative solutions to improve the accuracy of predicting this disease. This research develops a diabetes prediction model using the K-Nearest Neighbors (KNN) algorithm with the Pima Indians Diabetes Database dataset. Given the class imbalance in the dataset, Random Over-Sampling technique was applied to balance the data distribution. The results showed that the KNN model optimized with GridSearchCV resulted in 88% accuracy, 89% precision, 75% recall, and 82% F1-score. This approach is expected to produce a more accurate and efficient model to support early detection of diabetes, and shows the great potential of machine learning technology in improving the effectiveness of disease diagnosis and control.
Pendampingan Pola Hidup Bersih dan Sehat (PHBS) pada Siswa MI Miftahul Hidayah dengan Sosialisasi Aplikasi Digital Rakasiwi, Sindhu; Salam, Abu; Subhiyakto, Egia Rosi; Dewi, Ika Novita; Octaviani, Dhita Aulia; Zeniarja, Junta
Community : Jurnal Pengabdian Pada Masyarakat Vol. 4 No. 1 (2024): Maret : Jurnal Pengabdian Pada Masyarakat
Publisher : LPPM Sekolah Tinggi Ilmu Ekonomi - Studi Ekonomi Modern

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.51903/community.v4i1.496

Abstract

Program Perilaku Hidup Bersih dan Sehat (PHBS) sangat penting untuk mendorong penerapan gaya hidup sehat untuk menjaga, memelihara, dan meningkatkan kesehatan. Banyak penyakit dapat dihindari apabila masyarakat menerapkan gaya hidup yang sehat. PHBS sangat ideal untuk diterapkan pada anak-anak pada usia sekolah, karena mereka termasuk ke dalam kelompok yang berisiko terhadap masalah kesehatan dikarenakan oleh beberapa faktor. Teknologi dalam pendidikan telah terbukti dapat mengubah cara interaksi dan pembelajaran dalam kelas secara signifikan, lebih efisien, lebih mudah diakses, dan dapat membangun keterampilan yang dibutuhkan pada era yang serba digital saat ini dan di masa yang akan datang. Penggunaan aplikasi digital sebagai salah satu produk dari teknologi telah banyak digunakan baik di bidang kesehatan maupun pendidikan, dan saling terkait satu sama lain dimana saling melengkapi. Penginformasian masalah kesehatan pasti membutuhkan bidang pendidikan untuk menyampaikannya, demikian pula sebaliknya pendidikan tidak dapat berjalan lancar bila lingkungannya tidak sehat. Dengan demikian peran teknologi pada kedua bidang tersebut menjadi sangat penting. Berdasarkan hal-hal yang telah tersebut di atas, maka perlu adanya suatu pengetahuan kepada siswa-siswa sekolah terutama di sekolah dasar dan yang sederajat tentang Perilaku Hidup Bersih dan Sehat (PHBS). Siswa-siswa selain diberi pengetahuan juga perlu diberikan pendampingan pada saat mempraktikkan materi PHBS tersebut serta memasukkan peran teknologi dalam bentuk aplikasi digital agar pembelajaran dapat lebih menyenangkan dan efektif, dimana sebelumnya perlu diadakan sosialisasi dan pelatihan terlebih dahulu mengenai penggunaan aplikasi tersebut kepada para guru. Berdasar atas alasan-alasan yang dikemukakan tersebut, maka kali ini tim berinisiatif untuk mengadakan kegiatan berupa Pengabdian Kepada Masyarakat dengan tema Pendampingan Pola Hidup Bersih dan Sehat (PHBS) pada Siswa dengan Sosialisasi Aplikasi Digital, dengan lokasi yang telah ditentukan yaitu di MI Miftahul Hidayah, sehingga PHBS dapat menjadi kebiasaan siswa di kesehariannya dan dapat menularkan kebiasaan baik tersebut ke lingkungannya.
Pendampingan Pemanfaatan Google Site Sebagai Media Pembelajaran Berbasis Web di SMPN 7 Semarang Rakasiwi, Sindhu; Kurniawan, Defri; Hidayat, Erwin Yudi; Zeniarja, Junta; Dzaky, Azmi Abiyyu; Haresta, Alif Agsakli
ABDIMASKU : JURNAL PENGABDIAN MASYARAKAT Vol 8, No 2 (2025): MEI 2025
Publisher : LPPM UNIVERSITAS DIAN NUSWANTORO

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.62411/ja.v8i2.2970

Abstract

A website is the heart of an institution, school or company profile. With a web appearance that is always active and always has useful content, it will add to the image of the owner of the website. Because of this, the community service team wants to provide assistance to teachers so that they can also contribute to filling the website. So not only IT teachers can contribute to the website, but all teachers can contribute so that the website can be more active and interactive for students, parents of students and even for the general public who want to know information about SMPN 07 Semarang. And through this assistance, it also utilizes the Google site for more interactive learning and students are also more active in creating learning for the future.
Implementation of Deep Transfer Learning and Explainable AI in Skin Cancer Classification Ramadhan, Muhammad Eky; Zeniarja, Junta
Sistemasi: Jurnal Sistem Informasi Vol 14, No 5 (2025): Sistemasi: Jurnal Sistem Informasi
Publisher : Program Studi Sistem Informasi Fakultas Teknik dan Ilmu Komputer

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.32520/stmsi.v14i5.5425

Abstract

Kanker kulit merupakan salah satu penyakit yang prevalensinya terus meningkat, khususnya di wilayah dengan paparan sinar ultraviolet (UV) tinggi. Tantangan utama diagnosis kanker kulit terletak pada kemiripan visual antara lesi jinak dan ganas, menyebabkan tingginya tingkat kesalahan diagnosis, bahkan oleh tenaga medis berpengalaman. Pendekatan diagnosis berbasis kecerdasan buatan (AI) saat ini masih dianggap sebagai sistem “black box” karena kurangnya transparansi dalam proses pengambilan keputusan. Studi ini bertujuan untuk mengembangkan sistem klasifikasi kanker kulit berbasis deep transfer learning yang terintegrasi dengan Explainable Artificial Intelligence (XAI). Model pretrained CNN, ResNet101 dan DenseNet201 diterapkan untuk klasifikasi citra dari dataset ISIC2020 dalam dua kelas, yaitu benign dan malignant. Evaluasi kinerja dilakukan menggunakan accuracy, precision, recall, F1-score, confusion matrix, dan kurva ROC. Hasil penelitian menunjukkan bahwa ResNet101 memberikan performa klasifikasi terbaik dengan accuracy 87,00%, AUC 0,943, dan recall 89,6% dalam mendeteksi malignant. Untuk mendukung interpretabilitas, teknik Grad-CAM dan LIME diterapkan untuk visualisasi area penting dalam citra yang menjadi dasar keputusan model. Temuan ini menekankan pendekatan yang menjanjikan untuk mendukung sistem pendukung keputusan medis yang lebih akurat, transparan, dan dapat dijelaskan, khususnya dalam konteks diagnosis kanker kulit.
Heart Disease Classification Using Deep Neural Network with SMOTE Technique for Balancing Data Cahyani, Ailsa Nurina; Zeniarja, Junta; Winarno, Sri; Putri, Rusyda Tsaniya Eka; Maulani, Ahmad Alaik
Advance Sustainable Science, Engineering and Technology Vol 6, No 1 (2024): November-January
Publisher : Universitas PGRI Semarang

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26877/asset.v6i1.17521

Abstract

Heart disease is the leading cause of premature death worldwide. According to the WHO, heart disease causes about 30% of the total 58 million deaths and mostly occurs in individuals who are in their productive age. This condition can occur to anyone, including individuals who do not show symptoms of heart disease. However, heart disease can be prevented with early detection. By understanding the various risk factors that can increase the potential for heart disease. Therefore, this study aims to classify heart disease using Deep Neural Network algorithm and SMOTE technique to overcome data imbalance. This research resulted in a validation accuracy of 90% with precision evaluation of 0.85, recall 0.92, and f1-score 0.88. Based on the results obtained, the Deep Neural Network algorithm after SMOTE is superior to the model without SMOTE.
Co-Authors Abu Salam Abu Salam Adhitya Nugraha Adhitya Nugraha Adi Wibowo Afridiansyah, Rahmanda Agus Winarno Agus Winarno, Agus Ahmad Alaik Maulani Ailsa Nurina Cahyani Ainul Yaqin Alan Ma’ruf, Farda Alya Nurfaiza Azzahra Anisatawalanita Ukhifahdhina Anugrah, Muhammad Ikhsan Ardytha Luthfiarta Ardytha Luthfiarta Asih Rohmani Asih Rohmani Asih Rohmani Atika Rahmawati Bayu Aryanto Budi Warsito Cahyani, Ailsa Nurina Candra, Rejka Aditya Catur Supriyanto Catur Supriyanto Debrina Luna Arghata Mangkawa Deby Arida NiMatus Sa’adah Devi Ayu Rachmawati Dianti, Reza Nur Diyan Adiatma Dzaky, Azmi Abiyyu Edi Faisal Edi Sugiarto Edi Sugiarto Edi Sugiarto Egia Rosi Subhiyakto, Egia Rosi Erwin Yudi Hidayat Esmi Nur Fitri Esmi Nur Fitri Esmi Nur Fitri Fajarudin Zakariya Farda Alan Ma'ruf Farda Alan Ma’ruf Ferry Bintang Nugroho Fikri Budiman Fikri Budiman Firmansyah, Gustian Angga Ganiswari, Syuhra Putri Guruh Fajar Shidik Haresta, Alif Agsakli Harun Al Azies Ida Ayu Putu Sri Widnyani Ika Novita Dewi Jaya, Sava Irhab Atma Khoirunnisa, Emila Kiki Widia Kurniawan Ridwan Surohardjo Kurniawan, Defri L. Budi Handoko Luh Putu Ratna Sundari Lutfi Kharisma M Hafidz Ariansyah M. Hafidz Ariansyah Manurung, Ayub Michaelangelo Mas'ud, Ryan Ali Maulani, Ahmad Alaik Mufida Rahayu Muhammad Jamhari Muhammad Joyo Satrio Muljono Muljono Nabila, Qotrunnada Nitho Alif Ibadurrahman Novi Hendriyanto Nur Rokhman Octaviani, Dhita Aulia Paramita, Cinantya Pratama, Rifky Ariya Pulung Nurtantio Andono Putra, Vander Mulya Putri, Rusyda Tsaniya Eka Raden Arief Nugroho Rama Eka Saputra Ramadhan Rakhmat Sani Ramadhan, Ahnaf Irfan Ramadhan, Muhammad Eky Restu Agung Pamuji Rezaroebojo, Rizal Riyan Ardiansyah Rohman, Adib Annur Savicevic, Anamarija Jurcev Setiawan, Dicky Setiawan Sindhu Rakasiwi Sri Winarno Sri Winarno Sri Winarno Syabilla, Mutiara Utomo, Danang Wahyu Valentina Widya Suryaningtyas, Valentina Widya Wibowo Wicaksono Wibowo Wicaksono