" Explorer ou ne pas explorer, telle est la question.

Il est parfois difficile de créer et de gérer des fichiers robots.txt corrects. Si la plupart des propriétaires de sites ne rencontrent pas de difficultés particulières (car souvent ils n'ont même pas besoin de fichier robots.txt), l'identification des instructions qui bloquent ou bloquaient des URLs individuelles peut s'avérer relativement difficile au sein d'un fichier robots.txt volumineux. Pour faciliter les choses, nous vous annonçons la mise à jour de l'outil de test des fichiers robots.txt dans les outils pour les webmasters."