Base de conocimientos · Tutoriales
Explicación del archivo Robots.txt
Última actualización: 2025-06-06
Robots.txt explicado en pocas palabras:
Robots.txt es una herramienta útil para limitar el acceso de los robots a su sitio, por ejemplo, al contenido en desarrollo y a la información confidencial. Actualmente, el Robots Exclusion Standard Working Group no avala ninguna directiva allow que indique a los robots que indexen determinadas partes del sitio. Aun así, esto puede lograrse mediante enlaces internos y externos hacia su sitio web.
Es posible que, al revisar las estadísticas de uso de su sitio web, haya notado la referencia a un archivo llamado 'robots.txt'. Se trata de un archivo de configuración básico que los robots (arañas de los motores de búsqueda) utilizan para saber qué archivos y directorios no deben indexar.
Es importante tener un archivo llamado robots.txt en el directorio root de su sitio web (http://www.yourdomain.com/robots.txt)). El uso básico del archivo robots.txt es indicar qué archivos y directorios no deben ser indexados por los robots.
La sintaxis de la estructura del archivo robots.txt consta de 2 componentes: la línea user-agent y la línea disallow.
La sintaxis es la siguiente:
User-agent
Puede consultar la lista de robots que visitan su sitio en los registros de estadísticas de su sitio web. Puede consultar un listado de user-agents en http://www.robotstxt.org/wc/active.html
Se puede hacer referencia a un robot específico en la sintaxis de User-Agent.
User-agent: Googlebot
También se puede usar un comodín para que coincida con todos los robots.
User-agent: *
Disallow
Esta sección de la sintaxis indica qué archivos y directorios no deben ser indexados.
Si tiene una página llamada 'addresses.html' y no desea que el robot la indexe, agregue la siguiente línea después de la sintaxis de User-agent:
Disallow: addresses.html
También puede limitar el acceso del robot a nivel de directorio. Si desea impedir la indexación del directorio '/billing' de su sitio web, coloque el siguiente texto después de la sintaxis de User-agent.
Disallow: /billing/
También se puede usar un comodín para indicar todos los archivos de un sitio.
Disallow: /
¿Cómo puedo añadir comentarios en mi archivo robots.txt?
Puede incluir comentarios en el archivo robots.txt colocando '#' antes del texto. Por ejemplo:
# especifica googlebot como User-agent.
User-agent: Googlebot
Se recomienda colocar los comentarios en una línea distinta a la de la directiva. Además, limite los espacios en blanco al comienzo de las líneas de directivas.
Puesta en práctica de robots.txt:
Ahora que conocemos la funcionalidad de robots.txt, pongámosla en práctica.
Si desea permitir que TODOS los robots visiten TODAS las páginas de su sitio web, debe utilizar el comodín "*" en la sintaxis del archivo robots.txt.
User-agent: *
Disallow:
Para impedir toda indexación de su sitio, introduzca el siguiente texto en su archivo robots.txt:
User-agent: *
Disallow: /
Impedir que los robots indexen las páginas dentro de un directorio llamado 'billing'.
User-agent: *
Disallow: /billing/
Impedir que los robots indexen las páginas dentro de los directorios llamados "billing" y "address".
User-agent: *
Disallow: /billing/
Disallow: /address/
Impedir que googlebot acceda a su sitio.
User-agent: googlebot
Disallow: /
Impedir que googlebot acceda a su página de contacto (contact-us.html).
User-agent: googlebot
Disallow: /contact-us.html
Impedir que googlebot acceda a su página de contacto (about-us/contact-us.html).
User-agent: googlebot
Disallow: /about-us/contact-us.html
Robots.txt es una herramienta útil para limitar el acceso de los robots a su sitio, por ejemplo, al contenido en desarrollo y a la información confidencial. Actualmente, el Robots Exclusion Standard Working Group no avala ninguna directiva allow que indique a los robots que indexen determinadas partes del sitio. Aun así, esto puede lograrse mediante enlaces internos y externos hacia su sitio web.
Es posible que, al revisar las estadísticas de uso de su sitio web, haya notado la referencia a un archivo llamado 'robots.txt'. Se trata de un archivo de configuración básico que los robots (arañas de los motores de búsqueda) utilizan para saber qué archivos y directorios no deben indexar.
Es importante tener un archivo llamado robots.txt en el directorio root de su sitio web (http://www.yourdomain.com/robots.txt)). El uso básico del archivo robots.txt es indicar qué archivos y directorios no deben ser indexados por los robots.
La sintaxis de la estructura del archivo robots.txt consta de 2 componentes: la línea user-agent y la línea disallow.
La sintaxis es la siguiente:
User-agent
Puede consultar la lista de robots que visitan su sitio en los registros de estadísticas de su sitio web. Puede consultar un listado de user-agents en http://www.robotstxt.org/wc/active.html
Se puede hacer referencia a un robot específico en la sintaxis de User-Agent.
User-agent: Googlebot
También se puede usar un comodín para que coincida con todos los robots.
User-agent: *
Disallow
Esta sección de la sintaxis indica qué archivos y directorios no deben ser indexados.
Si tiene una página llamada 'addresses.html' y no desea que el robot la indexe, agregue la siguiente línea después de la sintaxis de User-agent:
Disallow: addresses.html
También puede limitar el acceso del robot a nivel de directorio. Si desea impedir la indexación del directorio '/billing' de su sitio web, coloque el siguiente texto después de la sintaxis de User-agent.
Disallow: /billing/
También se puede usar un comodín para indicar todos los archivos de un sitio.
Disallow: /
¿Cómo puedo añadir comentarios en mi archivo robots.txt?
Puede incluir comentarios en el archivo robots.txt colocando '#' antes del texto. Por ejemplo:
# especifica googlebot como User-agent.
User-agent: Googlebot
Se recomienda colocar los comentarios en una línea distinta a la de la directiva. Además, limite los espacios en blanco al comienzo de las líneas de directivas.
Puesta en práctica de robots.txt:
Ahora que conocemos la funcionalidad de robots.txt, pongámosla en práctica.
Si desea permitir que TODOS los robots visiten TODAS las páginas de su sitio web, debe utilizar el comodín "*" en la sintaxis del archivo robots.txt.
User-agent: *
Disallow:
Para impedir toda indexación de su sitio, introduzca el siguiente texto en su archivo robots.txt:
User-agent: *
Disallow: /
Impedir que los robots indexen las páginas dentro de un directorio llamado 'billing'.
User-agent: *
Disallow: /billing/
Impedir que los robots indexen las páginas dentro de los directorios llamados "billing" y "address".
User-agent: *
Disallow: /billing/
Disallow: /address/
Impedir que googlebot acceda a su sitio.
User-agent: googlebot
Disallow: /
Impedir que googlebot acceda a su página de contacto (contact-us.html).
User-agent: googlebot
Disallow: /contact-us.html
Impedir que googlebot acceda a su página de contacto (about-us/contact-us.html).
User-agent: googlebot
Disallow: /about-us/contact-us.html
Limitación de rastreadores
Si su sitio tiene muchos enlaces (por ejemplo, si cuenta con foros), es probable que el bot de Yahoo rastree los enlaces demasiado rápido y acabe consumiendo mucho ancho de banda y otros recursos. Para evitarlo, agregue estas líneas a su archivo robots.txt:
User-agent: Slurp
Crawl-delay: 60
Esto indicará a Yahoo Slurp que rastree solo una página cada 60 segundos.
Tell us what you need
Compare available plans or describe your workload so we can discuss a suitable starting point.