Un extracto de lo que es el archivo robots.txt via:
Un archivo robots.txt es una parte vital de la batalla de cualquier webmaster contra ser baneado o penalizado por el buscador si él o ella diseña distintas página para distintos buscadores.
El archivo robots.txt es simplemente un archivo de texto como sugiere su extensión. Se crea usando un simple editor de texto como Notepad o WordPad, procesadores de texto complicados como Microsoft Word no harian más que corromper el archivo.
Este es el código que necesitar insertar al archivo:
El texto rojo es obligatorio y nunca cambia mientras que el azul lo tienes que cambiar para adaptarlo al motor de búsqueda y a los archivos que quieras evitar.
Pues existe un generador online del archivo robots.txt que esta muy lindo porque uno le puede denegar la indexación a cierto buscador, como por ejemplo decirle a Yahoo que no busque en nuestro sitio pero si permitirle a Google la indexación.
A su vez nos permite decirle que subdirectorios de nuestro sitio no tiene que indexar, para evitar cualquier tipo de problema de seguridad u otro.
Grupo MKE SAS
