Aller directement au contenu
Numérique.ca

Les robots d'indexation

Les moteurs de recherche utilisent des logiciels pour parcourir internet et alimenter leurs bases. Ces logiciels sont appelés des " robots "
Ces outils " lisent " vos pages et les enregistrent, les indexent selon différents critères propres à chacun d'eux.

Comment les connaitre ?
Ces robots, en arrivant sur votre site, laissent une empreinte sur votre serveur dans le fichier log. Leur passage est repérable par une "signature" propre à chacun.

• Exemple : altavista a nommé entre autre " mercator " un de ses robots.
Pour inktomi c'est " slurp ", "googlebot" pour google, etc.

Qui utilise des robots ?
En premier lieu, les moteurs tels que Altavista, Google, fast, hotbot, Voila, ...
Mais nous remarquons désormais d'autres familles, telles que :
- les systèmes de veille (surveillance de pages)
- les robots universitaires en phase de tests
- des sociétés privés pour alimenter des extranet ou intranet
- des organismes publics, gouvernementaux de surveillance
- des robots aspirateurs d'adresses mail


Voici une liste non-exhaustive des principaux robots connus :

 

Classement par outils

 

Classement par robots

Abacho

AbachoBOT

 

AbachoBOT

Abacho

Alexa

Ia_archiver

 

Almaden

IBM

Altavista

Scooter

 

Antibot

Antisearch

Alltheweb

Overture-WebCrawler

 

Arachnoidea

Euroseek

Antisearch

Antibot

 

ArchitextSpider

Excite

AtomZ

Atomz

 

Asterias

Singingfish

Excite

ArchitextSpider

 

Atomz

AtomZ

Euroseek

Arachnoidea

 

Fluffy the spider

Search Hippo

Google

Googlebot

 

Googlebot

Google

IBM

Almaden

 

HenryTheMiragoRobot

Mirago

Inktomi

Slurp

 

Ia archiver

Alexa

Infoseek

UltraSeek

 

Lycos Spider (T-Rex)

Lycos

Looksmart

MantraAgent

 

MantraAgent

Looksmart

Lycos

Lycos Spider (T-Rex)

 

MsnBot

Msn

Mirago

HenryTheMiragoRobot

 

Overture WebCrawler

Alltheweb

Msn

MsnBot

 

Psbot

Picsearch

Picsearch

Psbot

 

Scooter

Altavista

Search Hippo

Fluffy the spider

 

Slurp

Inktomi

Singingfish

Asterias

 

Teoma agent1

Teoma

Teoma

Teoma agent1

 

UltraSeek

Infoseek

Wisenut

ZyBorg

 

ZyBorg

Wisenut