Claim Missing Document
Check
Articles

Found 2 Documents
Search

Penguatan Kompetensi Canva AI dan Literasi Keuangan melalui Platform e-Learning VocaSmart bagi Siswa SMK YAPINKTEK Tangerang Agus Mulyanto; Yuni Roza; Nasril Sany; Esa Firmansyah Muchlis; Widi Pramudiya; Firmansyah Apriadhi; Atikah Rifdah Ansyari; Jenny Agustina Rahman
Jurnal Penelitian dan Pengabdian Masyarakat Vol. 4 No. 3 (2026): August 2026
Publisher : Yayasan Pondok Pesantren Sunan Bonang Tuban

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.61231/m8fpyw79

Abstract

This community service program aims to improve Canva AI design competencies and financial literacy among students of SMK YAPINKTEK Tangerang through the VocaSmart e-learning platform. This workshop-based program involved 40 participants consisting of 35 students and 5 teachers. Evaluation was conducted through pre-tests, post-tests, practical assessments, and satisfaction questionnaires. The results showed an increase in the average Canva AI score from 62.4 to 80.6 and financial literacy from 58.9 to 74.6. The participant satisfaction rate reached 84.3%, while 87.6% of participants responded positively to the VocaSmart platform. These findings indicate that integrated digital training is effective in improving vocational competencies and has the potential to be implemented in similar schools.
Evaluasi Kualitas, Akurasi, dan Stabilitas Penilaian Pemrograman Berbantuan Model Bahasa Besar Naufal Raihan Saputra; Ahmad Faqod Kurnia; Jenny Agustina Rahman
Jurnal Sosial Teknologi Vol. 6 No. 10 (2026): Jurnal Sosial dan Teknologi
Publisher : CV. Green Publisher Indonesia

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.59188/jurnalsostech.v6i10.33003

Abstract

Model bahasa besar (LLM) menawarkan peluang otomatisasi penilaian pemrograman, tetapi kelayakannya memerlukan bukti akurasi nilai, stabilitas, dan kualitas umpan balik. Penelitian ini bertujuan mengevaluasi ketiga dimensi tersebut menggunakan data empat kelas praktikum pemrograman yang melibatkan 197 mahasiswa dan 4.664 jawaban. Pendekatan Design Science Research digunakan untuk pengembangan dan evaluasi. Akurasi diperiksa melalui 163 pasangan nilai dengan penilaian asisten historis sebagai pembanding menggunakan korelasi, metrik galat, analisis bias, kesepakatan Bland–Altman, dan kesalahan batas. Stabilitas diuji melalui penilaian berulang dan perbandingan konfigurasi, sedangkan kualitas umpan balik dinilai menggunakan ukuran tekstual otomatis dan tiga penilai LLM. Hasil menunjukkan korelasi kuat dengan nilai asisten (r = 0,854), tetapi disertai bias negatif sistematis 8,97 poin, MAE 10,09, dan RMSE 13,39. Kesalahan klasifikasi lulus menjadi gagal mencapai 17,2–18,4% pada ambang yang diperiksa. Penilaian berulang menunjukkan konsistensi tinggi (ICC = 0,9943), tetapi perubahan versi penilai menggeser nilai 2,49 poin dan pengaturan temperature nol meningkatkan variasi 4,7 kali. Umpan balik memperoleh penilaian kebenaran faktual dan kebahasaan lebih tinggi daripada keterlaksanaan saran, yang memiliki rerata 2,633. Temuan ini menunjukkan bahwa konsistensi belum menjamin validitas penilaian. LLM dapat mendukung pemeringkatan dan penyaringan, tetapi penetapan nilai akhir memerlukan kalibrasi, pengendalian versi, serta pengawasan manusia, terutama pada keputusan akademik dekat ambang kelulusan.