Définition Crawler

définition: Un Web Crawler est un robot d'indexation Internet. Le mot Crawler vient de l'anglais (to crawl = ramper). On peut imaginer que l'utilisation de ce mot dans ce contexte vient du fait que l'Internet est immense, qu'un site Web peut contenir un très grande quantité d'URLs à analyser et que donc le travail du Web Crawler est lent et méthodique.

Mot(s) lié(s):

Bot
Googlebot
Robot d'indexation
Spider