Journal of Artificial Intelligence and Digital Business
Vol. 5 No. 2 (2026): Mei-Juli

Rancang Bangun Sistem Agregasi Data E-Procurement Berbasis Web Scraping Menggunakan Framework Next.js

Agustinus Beda Buraq (Universitas Pamulang)
Rizky Andriyanto (Universitas Pamulang)
Jupron Jupron (Universitas Pamulang)



Article Info

Publish Date
18 Jun 2026

Abstract

Staf PT Segara Lentera Teknologi setiap hari harus membuka belasan situs pengadaan secara bergantian hanya untuk mencari tender atau permintaan produk yang relevan dengan bisnis perusahaan. Cara kerja ini memakan waktu besar dan berulang kali membuat peluang terlewat karena informasi datang terlambat. Penelitian ini membangun sistem dashboard berbasis web yang mengambil alih pekerjaan tersebut secara otomatis melalui teknik web crawling. Sistem dikembangkan berdasarkan observasi langsung terhadap proses manual di perusahaan dan wawancara dengan pembimbing lapangan untuk memahami kebutuhan spesifik. Arsitektur yang digunakan menggabungkan Next.js dengan Server-Side Rendering untuk antarmuka yang cepat dan responsif, Puppeteer dengan plugin Stealth sebagai agen crawling untuk halaman dinamis berbasis JavaScript, MongoDB sebagai database dokumen NoSQL terpadu, dan Agenda.js sebagai scheduler tugas latar belakang. Data diekstraksi dari dua sumber utama: Indonetwork sebagai direktori Business-to-Business dan Layanan Pengadaan Secara Elektronik (LPSE) sebagai portal tender pemerintah. Sebelum masuk ke database, data dibersihkan menggunakan ekspresi reguler untuk menghilangkan tag HTML dan karakter tidak valid. Di dashboard, pengguna hanya melihat data yang sesuai kategori bisnis yang dipilih saat registrasi. Sistem dilengkapi fitur bookmark, manajemen profil dengan upload foto, klasifikasi sektor otomatis berbasis pencocokan kata kunci, dan panel admin untuk pemantauan crawler dan manajemen data. Pengujian fungsional dengan metode black-box menunjukkan seluruh 12 skenario utama berjalan sesuai spesifikasi, dan sistem berhasil mengonsolidasikan data pengadaan dari kedua sumber ke satu antarmuka terpusat tanpa intervensi manual.

Copyrights © 2026






Journal Info

Abbrev

RIGGS

Publisher

Subject

Computer Science & IT Economics, Econometrics & Finance Electrical & Electronics Engineering Engineering

Description

Journal of Artificial Intelligence and Digital Business (RIGGS) is published by the Department of Digital Business, Universitas Pahlawan Tuanku Tambusai in helping academics, researchers, and practitioners to disseminate their research results. RIGGS is a blind peer-reviewed journal dedicated to ...