Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal IJCCS (Indonesian Journal of Computing and Cybernetics Systems)
Syairaji, M
Unknown Affiliation
Computer Science & IT Control & Systems Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Preliminary Evaluation of an LLM-Based Annotation Framework for Medical NER in Bahasa Indonesia Ningtyas, Annisa Maulida; Salim, Marko Ferdian; Syairaji, M; Santoso, Dian Budi
IJCCS (Indonesian Journal of Computing and Cybernetics Systems) Vol 20, No 2 (2026): April
Publisher : IndoCEISS in colaboration with Universitas Gadjah Mada, Indonesia.

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.22146/ijccs.112690

Abstract

Keterbatasan data beranotasi berkualitas menghambat pengembangan model Named Entity Recognition (NER) medis untuk Bahasa Indonesia. Penelitian ini menyajikan desain evaluasi untuk framework anotasi semi-otomatis berbasis Large Language Models (LLMs) untuk terminologi medis Indonesia. Framework mengintegrasikan pre-anotasi LLM dengan validasi manusia melalui web interface. Tujuan utama penelitian ini adalah mengevaluasi konsistensi dari LLM pada 21 posting forum Alodokter terkait NER dengan lima kategori entitas: penyakit, gejala, anatomi, obat, dan prosedur, menggunakan ensembel tiga varian model Gemini (Gemini-2.5-Flash, Gemini-2.0-Flash, dan Gemini-2.5-Flash-Lite). Evaluasi menggunakan Inter-Annotator Agreement (IAA) Cohen’s Kappa dan F1 score.  Hasil menunjukkan konsistensi internal model yang tinggi, dengan Gemini-2.5-Flash-Lite mencapai konsistensi internal tertinggi (strict F1 = 0.970, kappa = 0.977). Kesepakatan antar-model signifikan tetapi lebih rendah (rata-rata F1 ketat = 0.716, kappa = 0.756), dengan deteksi batas sebagai sumber utama ketidaksepakatan. Analisis posting dengan kesepakatan terendah mengidentifikasi tiga faktor: ambiguitas identifikasi entitas pada posting berbentuk pertanyaan, ambiguitas klasifikasi jenis entitas, dan strategi segmentasi batas untuk bahasa medis Indonesia informal.
Co-Authors Marko Ferdian Salim, Marko Ferdian Ningtyas, Annisa Maulida Santoso, Dian Budi