Qu'est-ce que le fichier robots.txt et comment le configurer correctement

23 octobre 2020 | 13 min de lecture Un fichier robots.txt est un document texte situé dans le répertoire racine d'un site qui contient des informations destinées aux robots des moteurs de recherche sur les URL (qui contiennent des pages, des fichiers, des dossiers, etc.) qui doivent être explorées et celles qui ne le sont […]