“Un robot d’indexation est un programme informatique capable de télécharger en totalité la partie visible d’un site Internet et d’en indexer le contenu. Cet index peut ensuite être utilisé par un moteur de recherche pour trouver rapidement toutes les pages Web parlant contenant un mot précis.
Pour comprendre comment un index fonctionne, il suffit de penser à l’index d’un livre que l’on trouve souvent à la fin. C’est une liste de mot classée par ordre alphabétique. A côté de chaque mot se trouvent les numéros des pages du livre ou l’on trouve ce mot. C’est donc un moyen très rapide de trouver un contenu précis parmi une grande quantité d’information.”