IMPLEMENTASI RAG MULTIMODAL UNTUK REKOMENDASI TEKS DAN GAMBAR DI E-COMMERCE - Herdiansyah, Bagas Wahyu; Setiawan, Mukhammad Andri (PENDIDIKAN SAINS DAN TEKNOLOGI, 2025)
Penelitian ini mengevaluasi efektivitas Retrieval-Augmented Generation (RAG) Multimodal sebagai sistem rekomendasi di platform e-commerce. Sistem pencarian tradisional, baik berbasis kata kunci maupun semantik, seringkali gagal menangkap niat, konteks, dan aspek visual dari kebutuhan pengguna, yang berdampak negatif pada kualitas pengalaman belanja daring. Meskipun RAG Multimodal menjanjikan interaksi yang lebih holistik, studi empiris mengenai persepsi pengguna terhadap keunggulannya masih terbatas. Penelitian ini bertujuan merancang dan mengimplementasikan sistem RAG Multimodal fungsional, serta mengevaluasi pengalaman pengguna secara kualitatif dibandingkan dengan metode pencarian tradisional. Sebuah aplikasi web e-commerce dikembangkan dengan empat fitur pencarian (kata kunci, semantik teks, semantik gambar, dan RAG Multimodal) menggunakan model SigLIP untuk embedding dan Gemini 2.5 Pro untuk generasi respons. Evaluasi kualitatif dengan desain task scenario dan Think-Aloud Protocol menunjukkan bahwa fitur RAG Multimodal secara konsisten menjadi pilihan utama partisipan, terutama dalam skenario pencarian yang kompleks dan ambigu. Partisipan menilai sistem ini mampu memberikan rekomendasi yang terjustifikasi, adaptif, dan konsultatif, sehingga mengatasi keterbatasan pendekatan konvensional.