En plus des traditionnels « favicon.png » ou « robots.txt », qu’on doit mettre à la racine de son site, il y a une ribambelle d’autres fichiers qu’il est possible (parfois recommandés, même) d’avoir sur son site. En voici une petite liste...

"Le protocole d'exclusion des robots, plus connu sous le nom de robots.txt, est une convention visant à empêcher les robots d'indexation (web crawlers) d'accéder à tout ou une partie d'un site web.

Le fichier robots.txt, à placer la racine d'un site web, contient une liste de ressources du site qui ne sont pas censées être indexées par les moteurs de recherches. Ce fichier permet également d'indiquer aux moteurs l'adresse du fichier sitemap.xml du site.

Par convention, les robots consultent le fichier robots.txt avant d'indexer un site Web. Lorsqu'un robot tente d'accéder à une page web, comme par exemple http://www.mon-domaine.fr/page.html, il tente d'accéder en premier lieu au fichier robots.txt situé à l'adresse http://www.mon-domaine.fr/robots.txt"

"Le fichier robots.txt, qui permet de bloquer le crawl des moteurs de recherche pour certaines URL ou parties d'un site, fête ses 20 ans : il fut créé le 30 juin 1994 par Martijn Koster. Voici plein de conseils que vous ne connaissiez peut-être pas..."

" Explorer ou ne pas explorer, telle est la question.

Il est parfois difficile de créer et de gérer des fichiers robots.txt corrects. Si la plupart des propriétaires de sites ne rencontrent pas de difficultés particulières (car souvent ils n'ont même pas besoin de fichier robots.txt), l'identification des instructions qui bloquent ou bloquaient des URLs individuelles peut s'avérer relativement difficile au sein d'un fichier robots.txt volumineux. Pour faciliter les choses, nous vous annonçons la mise à jour de l'outil de test des fichiers robots.txt dans les outils pour les webmasters."