Programe robot care sunt folosite de motoarele de cautare pentru a colinda World Wide Web-ul, pentru a vizita site-urile si bazele de date si pentru a actualiza baza de date a motorului de cautare cu pagini web actualizate.
Spider-ii obtin pagini noi, actualizeaza paginile necunoscute si le sterg pe cele invechite. Marile motoarele de cautare opereaza cu mai multi roboti in acelasi timp. Chiar si in aceste conditii, Web-ul este atat de mare incat spider-ilor le poate lua chiar si 6 luni sa il acopere, ceea ce duce la un anumit grad de invechire.