p-Index From 2021 - 2026
4.242
P-Index
Claim Missing Document
Check
Articles

Pemanfaatan Deep Convolutional Auto-encoder untuk Mitigasi Serangan Adversarial Attack pada Citra Digital Kurniawan S, Putu Widiarsa; Kristian, Yosi; Santoso, Joan
J-INTECH (Journal of Information and Technology) Vol 11 No 1 (2023): J-Intech : Journal of Information and Technology
Publisher : LPPM STIKI MALANG

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.32664/j-intech.v11i1.845

Abstract

Adversarial attacks on digital images pose a serious threat to the utilization of machine learning technology in various real-life applications. The Fast Gradient Sign Method (FGSM) technique has proven to be effective in conducting attacks on machine learning models, including digital images found in the ImageNet dataset. This research aims to address this issue by utilizing the Deep Convolutional Auto-encoder (AE) technique as a method for mitigating adversarial attacks on digital images.The results of the study demonstrate that FGSM attacks can be performed on the majority of digital images, although there are certain images that are more resilient to such attacks. Furthermore, the AE mitigation technique proves to be effective in reducing the impact of adversarial attacks on most digital images. The accuracy of the attack and mitigation models is measured at 14.58% and 91.67%, respectively.
The Utilization of Virtual Reality Technology for First Aid Learning in Vocational High School Nursing Students: English Widodo, Wahyu; Yosi Kristian
Journal of Information System,Graphics, Hospitality and Technology Vol. 7 No. 1 (2025): Journal of Information System, Graphics, Hospitality and Technology
Publisher : Institut Sains dan Teknologi Terpadu Surabaya (d/h Sekolah Tinggi Teknik Surabaya)

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.37823/insight.v7i1.385

Abstract

This VR application can be used to train nurses for future professional challenges they may face. The continuous development of VR applications enables trainees to effectively confront real-life simulations and experience increasingly concrete situations, which can be highly important in nursing education. The use of 3D visualization allows for study understanding of various activities and can help prevent potential errors in the future. Nursing education has always utilized simulation-based learning methods, which are widely recognized in nurse education. Skills laboratories have been established in recent years as a form of learning that provides skills and knowledge through repeated practice without requiring placement. This study discusses the utilization of virtual reality technology in first aid training. First aid training using VR technology is expected to increase the effectiveness of learning by at least 20%. The VR application for first aid learning consists of four first aid training modules, including treatment for burns, fractures, bleeding wounds, and breathing difficulties. This VR application was tested on students to determine whether it could improve the effectiveness of first aid learning. Based on the application testing using a respondent questionnaire, it was found that the assessment of knowledge enhancement in learning reached 72.08. Furthermore, this virtual reality application is more effective when used in first aid training, as evidenced by the superiority of the post-test scores of students who learned first aid using virtual reality compared to those who learned first aid without VR, which was 23.4%.
Optimized image-based grouping of e-commerce products using deep hierarchical clustering Pranoto, Yuliana Melita; Handayani, Anik Nur; Herwanto, Heru Wahyu; Kristian, Yosi
International Journal of Advances in Intelligent Informatics Vol 11, No 3 (2025): August 2025
Publisher : Universitas Ahmad Dahlan

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26555/ijain.v11i3.1979

Abstract

Managing large and constantly evolving product catalogs is a significant challenge for e-commerce platforms, especially when visually similar products cannot be reliably distinguished using text-based methods. This study proposes a product grouping method that combines a fine-tuned EfficientNetV2M model with an adaptive Agglomerative Clustering strategy. Unlike conventional CNN-based approaches, which have limited scalability and a fixed number of clusters, the proposed method dynamically adjusts similarity thresholds and automatically forms clusters for unseen product variations. By linking deep visual feature extraction with adaptive clustering, the method enhances flexibility in handling product diversity. Experiments on the Shopee product image dataset show that it achieves a high Normalized Mutual Information (NMI) score of 0.924, outperforming standard baselines. These results demonstrate the method’s effectiveness in automating catalog organization and offer a scalable solution for inventory management and personalized recommendations in e-commerce platforms.
Clustering dan Visualisasi Data ASN dalam Penunjang Analisis Kecukupan Data di Perangkat Daerah Pemerintah Provinsi Jawa Timur Wikjatmiko, Zhulfi Bajra; Endang Setyati; Yosi Kristian
Joutica Vol 10 No 2 (2025): SEPTEMBER
Publisher : Universitas Islam Lamongan

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.30736/jti.v10i2.1440

Abstract

Penelitian ini mengimplementasikan K-Means, Gaussian Mixture Model (GMM), dan Hierarchical Clustering untuk menganalisis kecukupan data 18.962 ASN Pemerintah Provinsi Jawa Timur dari 232 unit kerja di 38 wilayah administratif. Dataset terdiri dari 8 jenis perangkat daerah dengan Satpol PP (7.231 ASN) dan UPT (6.961 ASN) sebagai kontributor terbesar. Variabel clustering mencakup 12 atribut kelengkapan dokumen kepegawaian dalam format biner: foto ½ badan, foto full body, akta lahir, KTP, NPWP, sumpah jabatan PNS, nota BKN, SPMT, kartu ASN virtual, nomor NPWP, nomor BPJS, dan nomor KK. Metodologi penelitian meliputi preprocessing data dengan normalisasi Min-Max, penghapusan 287 duplikat, dan encoding biner. Metode Elbow menghasilkan cluster optimal k=7 untuk K-Means (distortion score 119.496), k=4 untuk GMM (BIC 119.839), dan k=3 untuk Hierarchical Clustering. Evaluasi menggunakan Silhouette Score, Calinski-Harabasz Index, dan Davies-Bouldin Index menunjukkan K-Means memiliki performa terbaik (0.332, 3412.783, 1.224). K-Means mengidentifikasi 35% ASN kategori High (>80%), 45% Medium (70-79%), dan 20% Low (<70%). GMM menghasilkan distribusi 40% High, 55% Medium, 5% Low plus 14 outlier. Hierarchical Clustering menghasilkan 52% High, 47% Medium, 1% Low. Temuan menunjukkan unit kerja Surabaya memiliki kelengkapan tertinggi (54.27%) dibanding kabupaten lain (<5%). PNS memiliki kelengkapan 90% lebih baik dari PPPK/CPNS. Kartu ASN Virtual dan Nomor KK merupakan dokumen dengan kelengkapan terendah (<40%). Visualisasi melalui dashboard interaktif, heatmap, scatter plot PCA, dan dendrogram memfasilitasi identifikasi prioritas pembenahan data. Model ini dapat diadaptasi untuk mendukung transformasi digital birokrasi di instansi pemerintah lainnya.
Recognizing the Types of Beans Using Artificial Intelligence Nafi'iyah, Nur; Setyati, Endang; Kristian, Yosi; Wardhani, Retno
Register: Jurnal Ilmiah Teknologi Sistem Informasi Vol 9 No 2 (2023): July
Publisher : Information Systems - Universitas Pesantren Tinggi Darul Ulum

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26594/register.v9i2.3054

Abstract

Many studies have previously addressed the recognition of plant leaf types. The process of identifying these leaf types involves a crucial feature extraction stage. Image feature extraction is pivotal for distinguishing the types of objects, thus demanding optimal feature analysis for accurate leaf type determination. Prior research, which employed the CNN method, faced challenges in effectively distinguishing between long bean and green bean leaves when identifying bean leaves. Therefore, there is a need to conduct optimal feature analysis to correctly classify bean leaves. In our research, we analyzed 69 features and explored their correlations within various image types, including RGB, L*a*b, HSV, grayscale, and binary images. The primary objective of this study is to pinpoint the features most strongly correlated with the recognition of bean leaf types, specifically green bean, soybeans, long beans, and peanuts. Our dataset, sourced from farmers' fields and verified by experienced senior farmers, consists of 456 images. The most highly correlated feature within the bean leaf image category is STD b in the L*a*b image. Furthermore, the most effective method for leaf type recognition is Neural Network Backpropagation, achieving an accuracy rate of 82.28% when applied to HSV images.
Bi-LSTM and Attention-based Approach for Lip-To-Speech Synthesis in Low-Resource Languages: A Case Study on Bahasa Indonesia Setyaningsih, Eka Rahayu; Handayani, Anik Nur; Irianto, Wahyu Sakti Gunawan; Kristian, Yosi
Buletin Ilmiah Sarjana Teknik Elektro Vol. 7 No. 4 (2025): December
Publisher : Universitas Ahmad Dahlan

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.12928/biste.v7i4.14310

Abstract

Lip-to-speech synthesis enables the transformation of visual information, particularly lip movements, into intelligible speech. This technology has gained increasing attention due to its potential in assistive communication for individuals with speech impairments, audio restoration in cases of missing or corrupted speech signals, and enhancement of communication quality in noisy or bandwidth-limited environments. However, research on low-resource languages, such as Bahasa Indonesia, remains limited, primarily due to the absence of suitable corpora and the unique phonetic structures of the language. To address this challenge, this study employs the LUMINA dataset, a purpose-built Indonesian audio-visual corpus comprising 14 speakers with diverse syllabic coverage. The main contribution of this work is the design and evaluation of an Attention-Augmented Bi-LSTM Multimodal Autoencoder, implemented as a two-stage parallel pipeline: (1) an audio autoencoder trained to learn compact latent representations from Mel-spectrograms, and (2) a visual encoder based on EfficientNetV2-S integrated with Bi-LSTM and multi-head attention to predict these latent features from silent video sequences. The experimental evaluation yields promising yet constrained results. Objective metrics yielded maximum scores of PESQ 1.465, STOI 0.7445, and ESTOI 0.5099, which are considerably lower than those of state-of-the-art English systems (PESQ > 2.5, STOI > 0.85), indicating that intelligibility remains a challenge. However, subjective evaluation using Mean Opinion Score (MOS) demonstrates consistent improvements: while baseline LSTM models achieve only 1.7–2.5, the Bi-LSTM with 8-head attention attains 3.3–4.0, with the highest ratings observed in female multi-speaker scenarios. These findings confirm that Bi-LSTM with attention improves over conventional baselines and generalizes better in multi-speaker contexts. The study establishes a first baseline for lip-to-speech synthesis in Bahasa Indonesia and underscores the importance of larger datasets and advanced modeling strategies to further enhance intelligibility and robustness in low-resource language settings.
Klasifikasi Citra Daun Memanfaatkan Angular Partition, Edge Detection dan Neural Network Santoso, Elkana Lewi; Setyati, Endang; Kristian, Yosi
Intelligent System and Computation Vol 1 No 1 (2019): INSYST: Journal of Intelligent System and Computation
Publisher : Institut Sains dan Teknologi Terpadu Surabaya (d/h Sekolah Tinggi Teknik Surabaya)

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.52985/insyst.v1i1.32

Abstract

Penelitian yang dilakukan dalam Tesis ini adalah mengklasifikasikan 1907 daun berasal dari 32 jenis tanaman yang berbeda. Foto tersebut diambil dari website flavia. Proses klasifikasi daun-daun dilakukan dengan menggunakan Neural Network dengan metode Back Propagation Neural Network (BPNN). Tahap awal adalah mengubah ukuran gambar yang didapat dari flavia 1600x1200 piksel menjadi berukuran 300x225 piksel, terdiri dari tahap membuat gambar dengan Sobel untuk mendeteksi tepi, membuat gambar dengan Sobel dan menambah kecerahan gambar, sehingga tepi dan serat daun dapat lebih jelas. Citra daun di potong-potong dengan angular partition (sudut pembagi) 5°, 11.25°, 22.5°, 30°, 45° dan 90°. Pembuatan data set dengan delapan ekstrasi fitur daun yang terdiri dari menghitung : jumlah piksel-piksel pada bagian daun, jumlah piksel pada keliling daun, jumlah sudut pada daun, jumlah piksel pada keliling dan serat daun serta menghitung jarak tiap-tiap piksel tersebut dengan center of gravity (titik berat). Pada penelitian ini dilakukan 100 macam variasi nilai layer tersembunyi untuk tiap-tiap sudut pembagi tersebut. Hasil dari penelitian ini adalah : semakin kecil sudut pembagi(5°) dan semakin besar sudut pembagi (90°) tidak menghasilkan akurasi yang semakin bagus. Hasil akurasi tertinggi yang diraih sebesar 96,7488%. Hasil tersebut didapat dengan membagi daun menjadi sudut 11,25° tiap bagian (16 bagian), Susunan BPNN yang digunakan terdiri dari 1 input, 1 output, 3 hiden layer , tiap layer tersembunyi berisi 128, 120, 112 neurons, dan 32 neurons untuk output layer.
Pemanfaatan Asynchronous Advantage Actor-Critic Dalam Pembuatan AI Game Bot Pada Game Arcade Kusuma Susanto, Evan; Kristian, Yosi
Intelligent System and Computation Vol 1 No 2 (2019): INSYST:Journal of Intelligent System and Computation
Publisher : Institut Sains dan Teknologi Terpadu Surabaya (d/h Sekolah Tinggi Teknik Surabaya)

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.52985/insyst.v1i2.82

Abstract

Asynchronous Advantage Actor-Critic (A3C) adalah sebuah algoritma deep reinforcement learning yang dikembangkan oleh Google DeepMind. Algoritma ini dapat digunakan untuk menciptakan sebuah arsitektur artificial intelligence yang dapat menguasai berbagai jenis game yang berbeda melalui trial and error dengan mempelajari tempilan layar game dan skor yang diperoleh dari hasil tindakannya tanpa campur tangan manusia. Sebuah network A3C terdiri dari Convolutional Neural Network (CNN) di bagian depan, Long Short-Term Memory Network (LSTM) di tengah, dan sebuah Actor-Critic network di bagian belakang. CNN berguna sebagai perangkum dari citra output layar dengan mengekstrak fitur-fitur yang penting yang terdapat pada layar. LSTM berguna sebagai pengingat keadaan game sebelumnya. Actor-Critic Network berguna untuk menentukan tindakan terbaik untuk dilakukan ketika dihadapkan dengan suatu kondisi tertentu. Dari hasil percobaan yang dilakukan, metode ini cukup efektif dan dapat mengalahkan pemain pemula dalam memainkan 5 game yang digunakan sebagai bahan uji coba.
Identifikasi Foto Wanita Berhijab dari Majalah Untuk Pembuatan Katalog Busana Muslim Otomatis Memanfaatkan Convolutional Neural Network Ridha, M. Najamudin; Setyati, Endang; Kristian, Yosi
Intelligent System and Computation Vol 1 No 2 (2019): INSYST:Journal of Intelligent System and Computation
Publisher : Institut Sains dan Teknologi Terpadu Surabaya (d/h Sekolah Tinggi Teknik Surabaya)

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.52985/insyst.v1i2.87

Abstract

Abstrak—Perkembangan Fashion Muslim di Indonesia terus meningkat, disisi lain terobosan baru pada Deep Learning dengan memadukan arsitektur seperti dropout regularizations dan Rectified Linear Unit (ReLU) sebagai fungsi aktivasi dan data augmentation, mampu mencapai terobosan pada large scale image classification. Penelitian ini menggunakan metode deteksi objek wajah dengan Haar Cascades Classification untuk mendapatkan sample dataset wajah dan preprocessing data testing untuk dilanjutkan pada metode machine learning untuk klasifikasi citra dengan Convolutional Neural Network. Dataset yang digunakan adalah kumpulan katalog busana online, dataset yang sudah di preprocessing dibagi menjadi dua kategori, yaitu Hijab untuk semua citra wanita berhijab, dan Non Hijab untuk citra yang bukan wanita berhijab. selanjutnya klasifikasi citra menggunakan data ujicoba majalah digital terbitan Hijabella, Joy Indonesia dan Scarf Indonesia. Semakin besar resolusi citra input untuk preprocessing pada majalah digital, maka akan semakin banyak objek citra yang terdeteksi, dengan meningkatkan jumlah dataset untuk training dan validasi, mampu menambah hasil akurasi yang didapatkan, terjadi peningkatan akurasi pada dataset 2.500 wajah perkategori ke 5.000 wajah perkategori dengan resolusi 720p meningkat dari rata-rata 81.30% menjadi 82.31%, peningkatan rata-rata 1.01% dan tertinggi 2.14%, sedangkan resolusi 1080p meningkat dari rata-rata 83.03% menjadi 83.68%, peningkatan rata-rata 0.65% dan tertinggi 1.73%, akurasi tertinggi adalah sebesar 84.72% menggunakan model dataset 5.000 secara acak perkategori.
Identifikasi Biji-Bijian Berdasarkan Ekstraksi Fitur Warna, Bentuk dan Tekstur Menggunakan Random Forest Alwi, Luthfi; Hermawan, Arya Tandy; Kristian, Yosi
Intelligent System and Computation Vol 1 No 2 (2019): INSYST:Journal of Intelligent System and Computation
Publisher : Institut Sains dan Teknologi Terpadu Surabaya (d/h Sekolah Tinggi Teknik Surabaya)

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.52985/insyst.v1i2.93

Abstract

Abstrak - Proses identifikasi atau pengenalan biji-bijian merupakan aspek penting dalam dunia industri pengolahan pangan. Sebuah industri pangan berskala besar, proses pencampuran beberapa macam biji-bijian dalam pengolahan sebuah produk pangan sangat memperhatikan ketepatan dalam memilih bahan agar tidak terjadi kesalahan dalam proses produksi karena berpengaruh pada hasil akhir dari sebuah produksi. Agar tidak terjadi kesalahan yang fatal, diperlukan sebuah proses identifikasi dari bahan yang digunakan. Dengan sebuah sensor (intelligent camera) yang digunakan dari hasil sebuah proses identifikasi maka sebuah proses produksi produk pangan dapat berjalan dengan baik dan tidak terjadi kesalahan dalam pencampuran bahan. Proses pengidentifikasian terhadap beberapa varian biji-bijian dapat dilakukan dengan cara mengekstraksi fitur dari citra (image) dengan menganalisa melalui parameter warna, bentuk dan tekstur serta melakukan proses pengklasifikasian untuk mengukur tingkat keakuratan. Penelitian ini melakukan identifikasi terhadap varian biji-bijian (padi, jagung, kacang tanah dan kedelai) dengan melakukan ekstraksi fitur warna menggunakan RGB dan HSV, ekstraksi fitur bentuk menggunakan Morphological Threshold dan ekstraksi fitur tekstur menggunakan Grey Level Co-occurrence Matrix (GLCM) dan Local Binary Pattern (LBP). Untuk proses pengklasifikasian, peneliti menggunakan metode Random Forest Classifier (RF) untuk mendapatkan tingkat akurasi yang tinggi dengan batasan-batasan yang mempengaruhi keakuratan dalam proses pengklasifikasian untuk dikembangkan dalam proses selanjutnya. Peneliti menggunakan tools MATLAB R2015b untuk proses identifikasi mulai dari proses ekstraksi fitur sampai proses klasifikasnya. Berdasarkan hasil pengujian yang dilakukan didapatkan tingkat akurasi sebesar 99.8 %. Dapat disimpulkan bahwa pengambilan dataset berupa gambar atau image biji-bijian yang diteliti dapat dijadikan patokan untuk pengidentifikasian dan dapat dikembangkan dalam proses selanjutnya.