Perbandingan Variasi Prompt terhadap Kualitas Puisi menggunakan Model GPT-2 Fine-tuned - Zenatmaja, I Wayan Ivan; Fatyanosa, Tirana Noor; Zulvarina, Prima (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2026)
Pemikiran abstrak dan kreatif merupakan ciri utama kecerdasan manusia yang memungkinkan penciptaan karya seni seperti puisi, yang memiliki struktur bahasa dan kedalaman makna yang kompleks. Perkembangan Natural Language Generation (NLG) telah mendorong penggunaan model bahasa generatif seperti GPT-2 dalam generasi puisi berbahasa Indonesia, meskipun kualitas, kealamian, dan keragaman hasilnya masih menjadi perdebatan, khususnya pada bahasa Indonesia yang tergolong low-resource language. Penelitian ini bertujuan untuk membandingkan variasi prompt (zero-shot, one-shot, dan few-shot) serta pengaturan hyperparameter terhadap kualitas puisi berbahasa Indonesia yang dihasilkan oleh model GPT-2 fine-tuned. Metode penelitian melibatkan tiga model GPT-2, yaitu GPT-2 Small Indonesia (pre-trained), GPT-2 Small Indonesia Fine-Tuning Poem (pre-trained), dan GPT-2 Small Indonesia Fine-Tuning Poem yang sudah melalui proses fine-tuning menggunakan SFTTrainer dan dataset puisi dari dua buku karya Goenawan Mohamad. Evaluasi dilakukan menggunakan metrik perplexity sebagai ukuran kealamian teks serta lexical diversity melalui distinct-1 dan distinct-2. Hasil penelitian menunjukkan bahwa model GPT-FT mencapai rata-rata perplexity terendah sebesar 1,907 pada one-shot prompt dengan konfigurasi hyperparameter tertentu. Nilai distinct unigram tertinggi sebesar 0,9169 diperoleh oleh GPT-2 Small Indonesia Fine-Tuning Poem pada one-shot prompt, dan nilai distinct bigram tertinggi sebesar 0,9809 dicapai oleh GPT-2 Small Indonesia pada one-shot prompt. Temuan ini menunjukkan bahwa fine-tuning dan variasi prompt berpengaruh signifikan terhadap kealamian dan keragaman puisi. Pada penelitian selanjutnya disarankan melakukan human evaluation atau evaluasi manusia untuk mengukur kualitas estetika secara komprehensif.