Perbandingan Akurasi Model AI Dalam Menilai Kepribadian Pengguna Menggunakan Pendekatan NLP (Natural Language Processing)

Ryan Hadi Ardhiansyah (Universitas Esa Unggul)

Jurnal Informatika dan Teknik Elektro Terapan
Vol. 14 No. 3 (2026)

Penilaian kepribadian berbasis teks merupakan salah satu aplikasi NLP yang berkembang pesat, namun pemilihan model yang tepat antara efisiensi dan akurasi masih menjadi tantangan. Penelitian ini membandingkan efektivitas pendekatan deep learning (BERT dan DistilBERT) dengan metode rule-based dalam memprediksi lima dimensi kepribadian Big Five dari data teks. Kedua model transformer dioptimasi menggunakan Task-Specific Head Tuning dikombinasikan dengan kalibrasi threshold, dan dievaluasi pada dua kategori panjang teks: teks pendek (≤128 token) dan teks panjang (≥256 token) dari dataset agregat sebanyak 37.630 sampel. Hasil menunjukkan bahwa DistilBERT dengan full fine-tuning mencapai performa terbaik pada teks pendek (F1-Score: 0,6751; nMCC: 0,6807), sementara BERT dengan full fine-tuning unggul pada teks panjang (nMCC: 0,6258). Metode rule-based secara konsisten menghasilkan performa lebih rendah dengan nMCC tertinggi hanya 0,5288. Analisis per dimensi menunjukkan bahwa Openness paling mudah dideteksi pada teks pendek (F1-Score: 0,8405), sedangkan Agreeableness membutuhkan konteks lebih panjang (F1-Score: 0,7198). Penelitian ini menyimpulkan bahwa DistilBERT merupakan pilihan optimal untuk lingkungan dengan sumber daya komputasi terbatas, sementara BERT tetap unggul untuk analisis teks panjang yang kompleks.   Text-based personality assessment is a rapidly growing NLP application, yet selecting the appropriate model that balances efficiency and accuracy remains challenging. This study compares the effectiveness of deep learning approaches (BERT and DistilBERT) against a rule-based method in predicting Big Five personality traits from text data. Both transformer models were optimized using Task-Specific Head Tuning combined with threshold calibration, and evaluated on two text length categories: short texts (≤128 tokens) and long texts (≥256 tokens) from an aggregated dataset of 37,630 samples. Results indicate that DistilBERT with full fine-tuning achieved the best performance on short texts (F1-Score: 0.6751; nMCC: 0.6807), while BERT with full fine-tuning outperformed on long texts (nMCC: 0.6258). Rule-based methods consistently underperformed with the highest nMCC reaching only 0.5288. Per-dimension analysis revealed that Openness was most easily detected on short texts (F1-Score: 0.8405), whereas Agreeableness required longer context (F1-Score: 0.7198). This study concludes that DistilBERT is the optimal choice for resource-constrained environments, while BERT remains superior for analyzing long and contextually complex texts.