Afin de pouvoir apporter une réponse à tous les gens qui naviguent sur le web, les moteurs de recherche doivent parcourir l’ensemble des pages, de tous les sites internet afin de les référencer.