Crawler - un robot spécialisé dans les liens.
Il consulte une base de liens que l'indexeur lui à mis de coté.
Il n'ont pas besoin de télécharger les pages comme le font les spiders.
Ils agissent ainsi plus vite pour cette fonction spécialisée. La base de données de l'index du moteur de recherche est ainsi triée et ensuite comparée à sa propre base d'URL. La différence sera ensuite balayée par les spiders pour télécharger ces nouvelles pages et, éventuellement, les inclure à l'index.
[ retour ] |
