Un extracto de lo que es el archivo robots.txt via:

Un archivo robots.txt es una parte vital de la batalla de cualquier webmaster contra ser baneado o penalizado por el buscador si él o ella diseña distintas página para distintos buscadores.

El archivo robots.txt es simplemente un archivo de texto como sugiere su extensión. Se crea usando un simple editor de texto como Notepad o WordPad, procesadores de texto complicados como Microsoft Word no harian más que corromper el archivo.

Este es el código que necesitar insertar al archivo:

El texto rojo es obligatorio y nunca cambia mientras que el azul lo tienes que cambiar para adaptarlo al motor de búsqueda y a los archivos que quieras evitar.

Pues existe un generador online del archivo robots.txt que esta muy lindo porque uno le puede denegar la indexación a cierto buscador, como por ejemplo decirle a Yahoo que no busque en nuestro sitio pero si permitirle a Google la indexación.

A su vez nos permite decirle que subdirectorios de nuestro sitio no tiene que indexar, para evitar cualquier tipo de problema de seguridad u otro. 

Generador online de robots.txt