Pengaruh Few-shot Learning pada Kinerja LLM untuk Ekstraksi Entitas Iklan Lowongan Kerja - Shafelbilyunazra, Alvalen; Prasetya, Didik Dwi (Jurnal Pustaka AI (Pusat Akses Kajian Teknologi Artificial Intelligence), 2025)
Ekstraksi informasi dari teks tidak terstruktur, seperti iklan lowongan kerja, merupakan tantangan besar. Pendekatan tradisional berbasis fine-tuning membutuhkan dataset berlabel masif dan sumber daya komputasi tinggi. Sebagai alternatif, Large Language Model (LLM) dengan In-Context Learning (ICL) menawarkan efisiensi. Penelitian ini menginvestigasi pengaruh few-shot learning, khususnya variasi jumlah contoh (k), terhadap akurasi LLM dalam ekstraksi entitas dari iklan lowongan kerja berbahasa Indonesia. Menggunakan model Gemini, eksperimen dilakukan dengan skenario zero-shot (k=0) hingga few-shot (k=1, 3, 5, 10, 20). Setiap skenario dievaluasi lima kali menggunakan Monte Carlo Cross-Validation, dengan metrik Presisi, Recall, dan F1-Score. Hasil menunjukkan korelasi positif antara jumlah contoh dan akurasi, namun dengan point of diminishing returns. Peningkatan kinerja drastis terjadi pada 1-5 shot, dan performa mencapai kejenuhan setelah 10 shot. Model cenderung memiliki Presisi lebih tinggi daripada Recall, memprioritaskan kebenaran ekstrak. Studi ini menyimpulkan bahwa strategi prompting optimal memerlukan keseimbangan akurasi dan efisiensi, merekomendasikan 5-10 contoh untuk sebagian besar aplikasi. Temuan ini memberikan panduan praktis untuk optimalisasi penggunaan LLM dalam ekstraksi informasi.