Configurar el archivo Robots.txt

Explicamos el porqué del archivo robots.txt y como se construye dicho archivo.



Para comenzar tenemos que comentar lo que son los robots y qué función cumplen dentro de la red de redes.
Un robot es un programa más o menos complicado que se dedica a rastrear nuestras páginas webs y guardar su contenido en una base de datos y seguir los enlaces que tengamos a otras páginas web. Esto nos beneficia pero también nos puede perjudicar, ya que a veces no nos conviene indexar ciertas páginas de nuestras webs.

Actualmente los robots actúan de tal forma que lo primero que hacen es buscar en la…