IMPLEMENTASI WEB SCRAPING UNTUK MENGUMPULKAN INFORMASI PRODUK DARI SITUS E-COMMERCE DAN MARKETPLACE DENGAN TEKNIK PEMROSESAN PARALEL - Albert Stevan Yondra; Dedi Triyanto; Syamsul Bahri (Universitas Tanjungpura, 2022)
Berkembangnya internet membuat masyarakat luas dapat semakin mudah memperoleh informasi dan melakukan kegiatan-kegiatan tertentu tanpa perlu bertatap muka atau bertemu langsung. Salah satu kegiatan tersebut adalah kegiatan jual beli atau transaksi daring. Hal ini ditandai dengan munculnya situs-situs e-commerce yang menjadi perantara antara penjual dan pembeli. Setiap situs e-commerce menawarkan toko, produk, keunggulan dan promosi yang berbeda-beda untuk menarik pembeli berbelanja melalui perantara mereka. Ini menyebabkan pembeli harus mengunjungi tiap situs untuk mencari dan membandingkan produk dari tiap situs untuk menentukan pilihan terbaik. Untuk menghemat waktu dan mengefisiensikan pencarian produk dari beberapa situs yang berbeda, dapat digunakan teknik scraping yaitu proses pengumpulan informasi dari halaman situs dengan menggunakan program. Penelitian ini bertujuan untuk membangun sebuah aplikasi web scraping yang dijalankan menggunakan pemrosesan paralel dengan teknik multithreading untuk mengumpulkan informasi dari beberapa situs e-commerce di Indonesia. Thread yang digunakan dimulai dari 1 thread sampai maksimal 20 thread. Berdasarkan hasil pengujian dengan menggunakan jumlah thread yang berbeda-beda didapatkan proses scraping paling optimal dilakukan dengan menggunakan 5 thread.