Eksplorasi Model Hybrid Transformer-Latent Semantic Analysis (LSA) Untuk Pemahaman Konteks Teks Berita Berbahasa Indonesia - Sofa, Nur; Utomo, Fandy Setyo; Saputro, Rujianto Eko (Jurnal Pendidikan dan Teknologi Indonesia, 2025)
Kemajuan teknologi informasi meningkatkan konsumsi berita digital, menuntut sistem Natural Language Processing (NLP) yang efisien dalam memahami bahasa Indonesia. Namun, kompleksitas morfologi bahasa Indonesia menyulitkan model NLP konvensional dalam menangkap makna semantik secara akurat. Model deep learning seperti Transformer unggul dalam menangkap hubungan semantik lokal, sementara Latent Semantic Analysis  (LSA) memahami hubungan semantik global melalui reduksi dimensi. Namun, Transformer membutuhkan sumber daya komputasi besar, sedangkan LSA cenderung kehilangan konteks sintaksis. Penelitian ini mengusulkan model hybrid yang mengintegrasikan Transformer dan LSA untuk meningkatkan pemahaman teks berita Indonesia serta mengevaluasi performanya dibandingkan model individu dan deep learning yang lebih kompleks. Evaluasi menggunakan Accuracy, F1-Score, BLEU Score, ROUGE, dan Perplexity. Model hybrid mencapai akurasi 0.510760 dan F1-Score 0.520486, lebih baik dari LSA dan Transformer, tetapi masih tertinggal dari BERT dan GPT. Meski demikian, model hybrid lebih efisien secara komputasi dibandingkan model deep learning yang lebih kompleks. Penelitian ini berkontribusi pada pengembangan NLP bahasa Indonesia dengan pendekatan yang lebih ringan. Implikasi penelitian menunjukkan perlunya dataset lebih besar dan teknik embedding lebih maju. Penelitian selanjutnya dapat mengeksplorasi integrasi model hybrid dengan BERT atau GPT, serta teknik embedding lain seperti word2vec atau fastText untuk meningkatkan pemahaman semantik.