Un Web Crawler (noto anche come web robot) è un programma o uno script automatico che esplora il World Wide Web metodicamente. Questo processo è chiamato Web Crawling o Spidering e, come la maggior parte delle cose nella vita, esistono Web Crawlers sia buoni che cattivi.
Molti siti famosi (in particolare i motori di ricerca come Google e Microsoft Bing), usano spidering come mezzo per fornire dati aggiornati. Un Web Crawler scansiona i siti, memorizza una copia delle pagine visitate e, quindi, le indicizza per fornire ricerche veloci.
I Crawlers possono anche essere utilizzati per automatizzare le attività di manutenzione di un sito web, come, ad esempio, il controllo dei collegamenti o la convalida del codice HTML. Purtroppo, esistono anche i crawlers che hanno intenzioni meno benevole, ad esempio la raccolta di indirizzi e-mail dalle pagine web per scopi di spamming, inserendo spam nel form dei blog e dei forum.