<![CDATA[Keterbatasan data beranotasi berkualitas menghambat pengembangan model Named Entity Recognition (NER) medis untuk Bahasa Indonesia. Penelitian ini menyajikan desain evaluasi untuk framework anotasi semi-otomatis berbasis Large Language Models (LLMs) untuk terminologi medis Indonesia. Framework mengintegrasikan pre-anotasi LLM dengan validasi manusia melalui web interface. Evaluasi dirancang dari dua aspek: reliabilitas teknis melalui self-consistency analysis dan pengalaman pengguna melalui System Usability Scale (SUS). Data uji berupa 50 dokumen forum kesehatan online dengan lima kategori entitas: penyakit, gejala, pengobatan, obat, dan anatomi. Metodologi evaluasi yang diusulkan bertujuan mengukur konsistensi prediksi LLM, distribusi confidence level, dan usability platform untuk anotator non-pakar. Hasil evaluasi akan melaporkan Cohen's Kappa untuk self-consistency, skor SUS untuk usability, dan acceptance rate untuk kualitas pre-anotasi. Framework lengkap dan dataset hasil anotasi akan dilaporkan dalam publikasi terpisah. ]]>
Copyrights © 2026
