Djamal, Esmeralda Contesa
Universitas Jenderal Achmad Yani

Published : 2 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 2 Documents
Search

Identifikasi Emosi Melalui Sinyal Elektroensephalogram Menggunakan Graph Convolutional Network LIONITAMA, VENA MEILINDA; DJAMAL, ESMERALDA CONTESSA; KASYIDI, FATAN
MIND (Multimedia Artificial Intelligent Networking Database) Journal Vol 9, No 1 (2024): MIND Journal
Publisher : Institut Teknologi Nasional Bandung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26760/mindjournal.v9i1.42-51

Abstract

AbstrakEmosi merupakan bentuk respon manusia terhadap sesuatu. Pengenalan emosi menggunakan komputer dapat membantu para dokter untuk mengetahui emosi yang sedang dirasakan oleh seseorang berdasarkan aktivitas otak. Aktivitas otak dapat diketahui dengan cara merekam aktivitas sinyal Electroensephalogram (EEG). Sinyal EEG memiliki karakteristik yang berubah-ubah dan non stasioner sehingga membutuhkan metode yang dapat mengintegrasikan karakteristik temporal dan spasial. Pengenalan emosi menggunakan sinyal EEG berkaitan erat dengan pola konektivitas pada belahan otak manusia, karena setiap emosi akan memiliki pola konektivitas yang berbeda dalam belahan otak. Maka dari itu mempelajari pola konektivitas dalam belahan otak akan membantu dalam pengenalan emosi. Dan untuk menangani hal itu dibutuhkan metode deep learning yang dapat mengintegrasikan karakteristik temporal dan spasial dan dapat menerima masukan berupa pola konektivitas tersebut, metode yang dapat menanganinya yaitu, Graph Convolutional Network (GCN). Penelitian ini telah membuat sistem identifikasi emosi dengan tiga kelas menggunakan GCN dan menghasilkan akurasi data uji sebesar 35,52%.Kata kunci: Emosi; Deep Learning; Sinyal EEG; Spasial; Temporal; GCNAbstractEmotion is a form of human response to something. Emotion recognition using computers can help doctors to see the emotions that are being felt by a person based on brain activity. Brain activity can be known by recording electroencephalogram (EEG) signal activity. EEG signals have changing and non-stationary characteristics, requiring a method to integrate temporal and spatial characteristics. Emotion recognition using EEG signals is closely related to connectivity patterns in the human brain hemispheres because each emotion will have different connectivity patterns in the brain hemispheres. Therefore, studying the connectivity patterns in the cerebral hemispheres will help in emotion recognition. Moreover, a deep learning method is needed to integrate temporal and spatial characteristics and receive input in the form of connectivity patterns, a method that can handle Graph Convolutional Network (GCN). This research has created an emotion identification system with three classes using GCN and produced an accuracy of 35.52% of testing data.Keywords: Emotion; Deep Learning; EEG Signal; Spatial; Temporal; GCN
Identifikasi Emosi Melalui Sinyal EEG menggunakan 3D-Convolutional Neural Network SENJAWATI, RINDU TEGAR; DJAMAL, ESMERALDA CONTESSA; KASYIDI, FATAN
ELKOMIKA: Jurnal Teknik Energi Elektrik, Teknik Telekomunikasi, & Teknik Elektronika Vol 12, No 2: Published April 2024
Publisher : Institut Teknologi Nasional, Bandung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26760/elkomika.v12i2.417

Abstract

ABSTRAKEmosi memberikan peran penting dalam interaksi manusia yang didapat melalui respon yang tepat. Respon yang tak tepat menunjukan adanya gangguan mental sehingga diperlukan identifikasi emosi. Identifikasi dapat dilakukan menggunakan aktivitas sinyal listrik di otak menggunakan Elektroensephalogram (EEG). Karena sinyal EEG pada setiap kanal merupakan urutan data maka dijadikan multi-kanal yang direpresentasikan pada matriks agar urutan-urutan data tetap terjaga. Penggunaan matriks memadukan informasi dari ketiga dimensi (kanal x frekuensi x waktu) dapat menggambarkan kompleksitas dari sinyal EEG. Sehingga dapat mengenali pola aktivitas otak pada rentang frekuensi tertentu berkembang sepanjang waktu. Untuk menangkap informasi tersebut perlu dilakukan ekstraksi fitur agar mewakili variabel-variabel emosi. Ekstraksi dilakukan pada domain frekuensi (4-45 Hz) dan waktu menggunakan Short Time Fourier Transform (STFT) kemudian idenitifikasi menggunakan 3D Convolutional Neural Network (CNN). Eksperimen menggunakan 3D CNN menghasilkan akurasi 65.45 dengan teknik koreksi bobot Adamax.Kata kunci: emosi, sinyal EEG, multi-kanal, STFT, 3D-CNN ABSTRACTEmotions play an important role in human interaction through appropriate responses. Inappropriate responses indicate a mental disorder, so identification of emotions is required. Identification can be done using electrical signal activity in the brain with Electroencephalogram (EEG). Because the EEG signal in each channel is a data sequence, it is made into a multi-channel represented in a matrix so that the data sequence is maintained. Using a matrix combining information from all three dimensions (channel x frequency x time) can describe the complexity of the EEG signal. Allowing recognition of evolving brain activity patterns within specific frequency ranges over time. Extraction is done in the frequency domain (4-45 Hz) and time using Short Time Fourier Transform (STFT), then identification using a 3D Convolutional Neural Network (CNN). Experiments using 3D CNN resulted in an accuracy of 65.45 with the Adamax weight correction technique.Keywords: emotion, EEG signal, multi-channel, STFT, 3D-CNN