Ekstraksi Partitur Balok Monofonik untuk Instrumen Flute dengan CRNN dan CRF - Vania, Stella; Sutanto, Patrick; Sutanto, Ricky; Santoso, Joan (Institut Sains dan Teknologi Terpadu Surabaya (d/h Sekolah Tinggi Teknik Surabaya), 2023)
Notasi partitur balok bukanlah notasi yang mudah dibaca oleh pemula dalam dunia musik. Di sinilah Optical Music Recognition (OMR) dapat berperan. OMR merupakan sebuah pembelajaran mengenai komputer yang dapat mengenali objek dalam partitur balok. Dengan adanya program yang menerapkan OMR dan memberikan output dengan format yang mudah dipahami oleh pengguna, maka pemula dalam dunia musik dapat terbantu dalam membaca partitur not balok. Karya ilmiah ini dibuat dengan pendekatan deep learning dalam beberapa arsitektur. Dataset yang digunakan adalah Camera-PrIMuS yang terdiri dari dataset gambar sebaris partitur musik dan juga ground-truth per objek pada gambar yang bersangkutan. Arsitektur yang digunakan adalah CRNN, CRNN-CRF, dan Attention. Dari ketiga arsitektur tersebut, hasil terbaik diperoleh pada aristektur Attention dengan symbol error rate (SER) sekitar 9%, diikuti dengan CRNN dengan SER sekitar 84%, dan CRNN-CRF yang berdasarkan hasil uji coba tidaklah cocok untuk OMR dengan nilai loss yang tidak kunjung turun dalam proses training. Arsitektur Attention secara garis besar terdiri dari blok encoder dan decoder. Encoder berfungsi untuk menerima input gambar dan melakukan encoding terhadap gambar tersebut. Hasil encoding kemudian diterima oleh decoder yang berperan untuk melakukan decoding dan memprediksi sequence selanjutnya berdasarkan hasil encoding dari encoder. Dalam implementasinya program dapat menerima input berupa gambar selembar partitur penuh yang agak miring, maka program juga akan melakukan skew-correction dan pemotongan gambar per baris agar input dari pengguna dapat diproses oleh model. Output dari model yang masih berupa label-label prediksi akan diproses kembali agar menghasilkan not angka dan file MIDI yang relatif lebih mudah untuk dipahami oleh pengguna.