Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal IJCCS (Indonesian Journal of Computing and Cybernetics Systems)
Syairaji, M
Unknown Affiliation
Computer Science & IT Control & Systems Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Preliminary Evaluation of an LLM-Based Annotation Framework for Medical NER in Bahasa Indonesia Ningtyas, Annisa Maulida; Salim, Marko Ferdian; Syairaji, M; Santoso, Dian Budi
IJCCS (Indonesian Journal of Computing and Cybernetics Systems) Vol 20, No 2 (2026): April
Publisher : IndoCEISS in colaboration with Universitas Gadjah Mada, Indonesia.

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.22146/ijccs.112690

Abstract

Keterbatasan data beranotasi berkualitas menghambat pengembangan model Named Entity Recognition (NER) medis untuk Bahasa Indonesia. Penelitian ini menyajikan desain evaluasi untuk framework anotasi semi-otomatis berbasis Large Language Models (LLMs) untuk terminologi medis Indonesia. Framework mengintegrasikan pre-anotasi LLM dengan validasi manusia melalui web interface. Evaluasi dirancang dari dua aspek: reliabilitas teknis melalui self-consistency analysis dan pengalaman pengguna melalui System Usability Scale (SUS). Data uji berupa 50 dokumen forum kesehatan online dengan lima kategori entitas: penyakit, gejala, pengobatan, obat, dan anatomi. Metodologi evaluasi yang diusulkan bertujuan mengukur konsistensi prediksi LLM, distribusi confidence level, dan usability platform untuk anotator non-pakar. Hasil evaluasi akan melaporkan Cohen's Kappa untuk self-consistency, skor SUS untuk usability, dan acceptance rate untuk kualitas pre-anotasi. Framework lengkap dan dataset hasil anotasi akan dilaporkan dalam publikasi terpisah. 
Co-Authors Marko Ferdian Salim, Marko Ferdian Ningtyas, Annisa Maulida Santoso, Dian Budi