Les moteurs de recherche : une méga-base de données se nourrissant des pages internet du monde entier

Les moteurs de recherche sont des robots installés sur des centaines d'ordinateurs et qui scrutent le web en permanence pour indexer les pages visitées. Les robots démarrent sur un site donné et suivent les liens internes et externes.

Lors d'une requête d'un utilisateur, les moteurs de recherche interrogent leur index et fournissent les résultats les plus proches de la requête en fonction des critères de l'algorithme du moteur. Pour des résultats optimaux, il est nécessaire de posséder quelques bases dans la syntaxe à utiliser pour l'interrogation des moteurs de recherche.

Communiquer avec les robots des moteurs de recherche

Pour apparaître dans l'index d'un moteur donné, il est nécessaire d'y inscrire son URL ou de posséder un lien depuis un site déjà indexé par Google. Pour que l'ensemble de son site soit indexé, il est nécessaire de soigner la structure de son site et d'éviter les liens internes cassés. Il est possible de demander aux robots de n'indexer qu'une partie de son site.

Les instructions doivent alors être contenues dans le fichier robots.txt. Si aucune instruction particulière n'est à mentionner, il est quand même recommandé de posséder un fichier robots.txt, celui-ci étant alors vide.