Fungsi Web Crawler

Fungsi Web Crawler / Web Spider

1. Web crawler biasa digunakan untuk membuat salinan sebahagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.

2. Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.

3. Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email.

Sumber:

 http://www.blogmashendra.com/2014/05/pengertian-dan-fungsi-web-crawler.html