Les moteurs de recherche : une méga-base de données
se nourrissant des pages internet du monde entier
Les moteurs de recherche sont des robots
installés sur des centaines d'ordinateurs et qui scrutent le web
en permanence pour indexer les pages visitées. Les robots démarrent
sur un site donné et suivent les liens internes et externes.
Lors d'une requête d'un utilisateur,
les moteurs de recherche interrogent leur index et fournissent les
résultats les plus proches de la requête en fonction des critères
de l'algorithme du moteur. Pour des résultats optimaux, il est nécessaire
de posséder quelques bases dans la syntaxe à utiliser pour l'interrogation
des moteurs de recherche.
Communiquer avec les robots des moteurs de recherche
Pour apparaître dans l'index d'un moteur donné,
il est nécessaire d'y inscrire son URL ou de posséder un lien depuis
un site déjà indexé par Google. Pour que l'ensemble de son site
soit indexé, il est nécessaire de soigner la structure de son site
et d'éviter les liens internes cassés. Il est possible de demander
aux robots de n'indexer qu'une partie de son site.
Les instructions doivent alors être contenues
dans le fichier robots.txt. Si aucune instruction particulière n'est
à mentionner, il est quand même recommandé de posséder un fichier
robots.txt, celui-ci étant alors vide.
|