Secara umum, black box testing biasanya dilakukan secara manual. Namun, dalam penelitian ini, digunakan automation testing. Tools yang digunakan adalah Puppeteer dan Jest. Puppeteer dapat dikonfigurasi untuk dijalankan dalam mode full (non-headless). Selain itu, Puppeteer dapat menyederhanakan proses pengujian yang kompleks dan memberikan umpan balik yang jelas untuk setiap test case. MTs AL-ITTIHAD sedang mengembangkan website sistem informasi pembayaran iuran dan LKS akan tetapi website itu belum dilakukan pengujian, sehingga kemungkinan adanya bug sangat besar. Tujuan penelitian ini adalah meningkatkan kualitas website sistem informasi pembayaran iuran dan LKS serta mengevaluasi efektivitas penggunaan Puppeteer dalam automation testing untuk pengujian black box. Setelah penelitian dilakukan, ditemukan beberapa kesalahan dalam website tersebut. Pengujian menggunakan Puppeteer dalam penelitian ini sangat cepat dan mengurangi waktu pengujian, serta memberikan laporan yang simpel dan mudah dipahami.