<![CDATA[Seiring dengan semakin meluasnya penggunaan machine learning di berbagai industri, ancaman Membership Inference Attack (MIA) menimbulkan risiko keamanan yang signifikan terhadap model machine learning dengan memungkinkan penyerang menyimpulkan apakah data tertentu merupakan bagian dari data pelatihan model. Tidak hanya menjadi ancaman MIA memiliki berbagai manfaat lain jika diterapkan dengan tujuan yang baik, sehingga banyak penelitian dilakukan untuk mengkaji penerapan MIA. Penelitian ini mengevaluasi efektivitas MIA dalam berbagai skenario, dengan fokus pada model pretrained untuk tugas klasifikasi teks. Eksperimen dilakukan untuk mengeksplorasi tiga faktor utama yang mempengaruhi akurasi serangan: arsitektur model, jumlah model bayangan, dan sampel data. Parameter yang digunakan merupakan variabel mendasar yang dapat mempengaruhi kinerja MIA dari hasilnya dapat diketahui seberapa akurat MIA dilihat dalam perspektif sebagai alat forensic atau auditor. Hasil yang didapatkan dari variasi model dalam kondisi paling sederhana atau Base-Case berkisar antara 54-58% pada data IMDB dan 73-75% pada data sst2, dengan perubahan parameter seperti jumlah sampel data dan shadow model tidak merubah banyak, peningkatan dari penambahan shadow model baru terlihat setelah lebih dari 3 shadow model. Hasil dari variasi arsitektur model belum dapat dilihat secara jelas karena hasilnya masih sangat dipengaruhi data yang diambil secara acak. Jika dilihat hasil yang didapatkan memang angkanya masih belum lebih baik dari random guessing lemparan koin (50%), akan tetapi hasil yang diprediksi MIA merupakan jaminan performa yang konstan, dalam kondisi nyata random guessing memberikan hasil yang tidak menentu dalam setiap percobaan, sedangkan MIA akan memberikan hasil dengan cakupan nilai yang cenderung sama bergantung data yang digunakan. Abstract As machine learning widely used in various industry. Membership inference attack (MIA) pose significant security risks to machine learning models by enabling attackers to infer whether specific data points were part of a model’s training set. Not only as threats MIA has in own benefits to be explored as it has function that also can be used as a tool such as plagiarism check. This study evaluates the effectiveness of MIA in various scenarios, focusing on text classification pretrained models. The experiments explore three main factors that influence the accuracy of the attack: model architecture, the number of shadow models, and sample data. The parameters used are fundamental variables that can influence the performance of MIA, and from the results, can be determined how accurate MIA is when viewed from the perspective of a forensic or auditing tool. The results obtained from various models in the simplest condition or Base Case range between 54–58% on the IMDB dataset and 73–75% on the SST-2 dataset. Changes in parameters such as the number of data samples and shadow models did not result in significant differences; improvements from adding shadow models only became noticeable after more than three shadow models were used. The results from variations in model architecture are not yet clearly visible because they are still heavily influenced by randomly selected data. In the results, the numbers are indeed not significantly better than random guessing or coin flipping (50%). However, the predictions made by MIA provide a guarantee of consistent performance. In real-world scenarios, random guessing yields inconsistent results with each trial, whereas MIA produces outcomes within a relatively consistent range depending on the data used.]]>
