Cómo crear y añadir reglas en el archivo Robots.txt de WordPress (3 métodos)

Si eres el propietario de un sitio web WordPress y quieres controlar el acceso de los motores de búsqueda a tu sitio, lo primero que debes hacer es crear el archivo robots.txt. Se trata de un archivo de texto ASCII que indica a los motores de búsqueda qué páginas de tu sitio deben indexarse y cuáles no.

Saber cómo editar robots.txt puede tener un impacto significativo en el SEO de tu sitio web, lo que te ayudará a aumentar la visibilidad de tu sitio web a la vez que mantienes tus archivos confidenciales seguros y protegidos.

En este blog, explicaremos qué es un archivo robots.txt y cómo crearlo y personalizarlo según tus necesidades.

Si buscas un alojamiento WordPress de calidad para tu sitio web, Cloudways Hosting es una opción excelente. Con Cloudways, editar tu archivo robots.txt es sencillo, gracias al fácil acceso a través del gestor de archivos de la plataforma o SFTP.

Dicho y hecho, empecemos con nuestra guía…

Breve descripción del archivo Robots.txt

Un archivo robots.txt es un simple archivo de texto. En él, puedes indicar a los rastreadores web (bots) qué partes pueden rastrear y qué partes deben permanecer ocultas. Esto garantiza que los motores de búsqueda no indexen páginas o archivos de tu sitio web que no deberían ser públicos en primer lugar.

Por defecto, WordPress crea un robots.txt virtual para sí mismo: www.yourdomain.com/robots.txt. Si creas uno real personalizado, eliminarás este archivo por defecto para evitar que se indexen los archivos que no quieres ver en los resultados de búsqueda.

– Fuente: Elliance, Inc.

¿Dónde se encuentra el archivo Robots.txt de WordPress?

El archivo robots.txt suele encontrarse en el directorio raíz de tu sitio web. WordPress genera una versión virtual de este archivo, pero en realidad no lo guardará en el servidor a menos que tú mismo hagas uno específicamente. Puedes ver tu archivo robots.txt actual accediendo a https://yourdomain.com/robots.txt en tu navegador.

• Para ver el archivo robots.txt de tu sitio web, simplemente abre un navegador web y navega a la URL tu-sitio-web.com/robots.txt. Si el archivo está presente, su contenido se mostrará en el navegador.

• Si no aparece nada, significa que no se ha creado un archivo robots.txt para tu sitio web.

Comprender las reglas del archivo Robots.txt

Las directivas de un archivo robots.txt definen cómo deben comportarse los rastreadores web. Las directivas constan esencialmente de dos partes:

• Agente de usuario: Define a qué rastreador se refiere la regla (por ejemplo, Googlebot).
• No permitir: Indica qué páginas o directorios no deben rastrearse.

Por ejemplo:

Agente de usuario: *
No permitir: /wp-admin/

Este código indica a todos los robots que no rastreen nada en el directorio /wp-admin/, sino que rastreen otras áreas del sitio.

Es importante comprender las reglas de un archivo robots.txt y utilizarlas correctamente, ya que un uso incorrecto puede tener consecuencias no deseadas, como bloquear el acceso de los motores de búsqueda a páginas importantes de tu sitio web.

A continuación se muestra una tabla en la que se describen algunas reglas de uso común para los archivos robots.txt y se explica brevemente su finalidad.

¿Cómo es un archivo Robots.txt ideal?

El archivo robots.txt ideal equilibra la accesibilidad para los motores de búsqueda con la protección de las áreas sensibles. Aquí tienes un código general del archivo:

Agente de usuario: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php
Mapa del sitio: https://www.yourdomain.com/sitemap_index.xml

Esta estructura de código permite que una buena parte de tu sitio sea rastreada por los motores de búsqueda, al tiempo que garantiza el bloqueo del área de administración y proporciona un enlace a tu mapa del sitio para una mejor indexación.

Cómo crear un archivo robots.txt en WordPress (3 métodos)

La creación de un archivo robots.txt se puede hacer de varias maneras, pero para este blog, voy a cubrir 3 métodos sencillos:

1. Método#1. Editar el archivo Robots.txt con un plugin
2. Método#2. Crea y sube tu archivo robots.txt de WordPress a través de FTP
3. Método#3. Crear archivo Robots.txt en WordPress usando Cloudways

Método#1. Editar el archivo Robots.txt con un plugin

Plugins como WPCode y Virtual Robots.txt facilitan la gestión de tu archivo robots.txt sin tocar directamente el código. Simplemente instala el plugin, navega hasta su configuración y añade tus reglas personalizadas. Este método es fácil de usar e ideal para principiantes.

Para WPCode:

• Instala el plugin WPCode desde la pestaña Añadir Plugins.

• Una vez instalado el plugin, puedes hacer clic en la opción Fragmentos de código del panel de control y luego ir a la opción «Editor de archivos» para continuar.

• Puedes ver la opción del archivo robots.txt después de ir a la opción «Editor de archivos«. Modifica y guarda los cambios para probarlos más tarde.

Para Robots virtuales.txt:

• Instala el plugin Virtual Robots.txt desde la pestaña Añadir Plugins.

• Una vez instalado el plugin, puedes ir a la configuración para actualizar o modificar el archivo robot.txt.

• Puedes comprobar la regla por defecto que proporciona el plugin, o bien puedes añadir las reglas según tus necesidades.

Método#2. Crea y sube tu archivo robots.txt de WordPress a través de FTP

Si quieres tener un mayor control práctico, puedes crear un archivo robots.txt físico con un editor de texto:

• Abre un editor de texto (como el Bloc de Notas).
• Escribe las reglas que desees.

• Guarda el archivo como robots.txt.
• Súbelo al directorio raíz de tu sitio mediante FTP.

Esto te da un control total sobre lo que hay en tu archivo robots.txt.

Método#3. Crear archivo Robots.txt en WordPress usando Cloudways

Estos son los sencillos pasos para crear un archivo robots.txt para tu sitio web WordPress si utilizas Cloudways.

• Accede al panel de control de tu alojamiento de WordPress. Por ejemplo, si utilizas Cloudways, accede a tu cuenta.
• En la barra de menú superior, selecciona la pestaña Servidores.
• Navega hasta Gestión de Servidores y selecciona Credenciales Maestras para obtener acceso a tu SSH/SFTP.

• Puedes utilizar cualquier aplicación de servidor FTP para acceder a los archivos de tu base de datos de WordPress. Yo utilizo FileZilla y me conecto a mi servidor utilizando las Credenciales Maestras que obtengo de Cloudways.

• Una vez que te hayas conectado a tu servidor mediante FileZilla, navega hasta la carpeta /applications de los archivos de tu base de datos de WordPress. Dentro de esta carpeta, verás diferentes subcarpetas.

• Tras navegar de nuevo a la Plataforma Cloudways, selecciona la opción Aplicaciones de la barra superior izquierda. Desde allí, elige la aplicación para la que deseas añadir el archivo robots.txt.

• Desde el panel izquierdo de la Plataforma Cloudways, navega hasta Gestión de Aplicaciones, selecciona Configuración de Aplicaciones y, por último, General. Aquí encontrarás el nombre de la carpeta de tu aplicación seleccionada.

• Tras navegar de nuevo a FileZilla, ve al directorio /applications/[NOMBRE DE LA CARPETA]/public_html, donde [NOMBRE DE LA CARPETA] es el nombre de la carpeta de la aplicación seleccionada que encontraste en la Plataforma Cloudways. En este directorio, crea un nuevo archivo de texto y llámalo robots.txt.

• Una vez creado el archivo, haz clic con el botón derecho del ratón sobre él y selecciona Ver/Editar para abrirlo en un editor de texto. Puedes utilizar cualquier editor de texto de tu elección, como el Bloc de Notas. Esto te permitirá editar el contenido del archivo robots.txt de tu sitio web WordPress.

Cómo añadir reglas al Robots.txt de WordPress

Ahora que has diseñado tu archivo robots.txt, puedes añadir muchas reglas en función de lo que necesites conseguir.

1. Bloquea el acceso a todo tu sitio web

Añadiendo el siguiente bloque de código en tu archivo Robots.txt, puedes bloquear el acceso a tu sitio web para que sea rastreado.

Agente de usuario: *
No permitir: /

2. Bloquear el acceso de un único bot a tu sitio

Añadiendo el siguiente bloque de código en tu archivo Robots.txt, puedes bloquear el acceso al bot específico en tu sitio web.

Agente de usuario: Dotbot
No permitir: /

3. Bloquear el acceso a una carpeta o archivo concreto

Añadiendo el siguiente bloque de código en tu archivo Robots.txt, puedes bloquear el acceso a un archivo o carpeta específicos de tu sitio web para que sean rastreados.

Agente de usuario: *
No permitir: /carpeta-privada/

4. Permite que todos los robots tengan acceso completo a tu sitio web

Añadiendo el siguiente bloque de código a tu archivo Robots.txt, puedes permitir el acceso a todos los robots o rastreadores de tu sitio web.

Agente de usuario: *
Rechazar:

5. Permitir el acceso a un archivo específico en una carpeta no permitida

Añadiendo el siguiente bloque de código en tu archivo Robots.txt, puedes permitir el acceso a un Archivo específico en una carpeta no permitida de tu sitio web para ser rastreado.

Agente de usuario: *
No permitir: /carpeta-privada/
Permitir: /carpeta-privada/archivo-público.html

6. Evitar que los robots rastreen los resultados de búsqueda de WordPress

Si añades el siguiente bloque de código a tu archivo Robots.txt, podrás impedir que los robots rastreen los resultados de búsqueda de WordPress en tu sitio web.

Agente de usuario: *
No permitir: /?s=

7. Crea diferentes reglas para diferentes robots en Robots.txt

Añadiendo el siguiente bloque de código en tu archivo Robots.txt, puedes crear distintas reglas para que rastreen tu sitio web distintos robots.

Agente de usuario: Googlebot
No permitir: /no-google/

Agente de usuario: Bingbot
No permitir: /no-bing/

8. No permitir que GPTBot acceda a tu contenido

Añadiendo el siguiente bloque de código en tu archivo Robots.txt, puedes impedir que el GPTBot acceda al contenido de tu sitio web.

Agente de usuario: GPTBot
No permitir: /

Estos ejemplos muestran lo flexibles que pueden ser las reglas en función de lo que quieras conseguir con la estrategia SEO de tu sitio.

Cómo especificar agentes de usuario en el archivo Robots.txt

Puedes dirigirte a bots específicos especificando los agentes de usuario en tus reglas. Estos comodines también ayudan a refinar las formas en que los bots interactúan con diferentes secciones de tu sitio.

1. Uso de comodines en el archivo robots.txt

Utilizar comodines te ayuda a aplicar reglas amplias o específicas basadas en patrones.

2. Utilizar el comodín Asterisk (*)

El asterisco (*) representa cualquier agente de usuario:

Agente de usuario: *
No permitir: /privado/

3. Uso del comodín dólar ($)

El signo del dólar ($) se refiere al final de una URL:

Agente de usuario: *
No permitir: /*?*

Cómo probar tu archivo Robots.txt

Inmediatamente después de crear o editar un archivo robots.txt, es muy importante validarlo utilizando herramientas como Google Search Console o validadores en línea especializados como technicalseo.com.

Estoy utilizando una herramienta gratuita para validar mi archivo robots.txt.

• Tendrás que enviar tu URL con el marcador de posición requerido.
• Selecciona el agente o bot de tu interés en la lista desplegable proporcionada.
• Pulsa enviar para iniciar el proceso de verificación.

Ya está. Con este procedimiento podrás verificar tu archivo robots.txt con facilidad.

Evita errores comunes en Robots.txt

Cuando crees un archivo Robots.txt para tu sitio web, asegúrate de evitar estos errores comunes:

• No bloquees páginas que deberían estar permitidas: Si bloqueas páginas que deberían estar permitidas, los motores de búsqueda no podrán encontrarlas.
• No permitas páginas que deberían estar bloqueadas: Bloquea las páginas que los motores de búsqueda no deberían ver. De lo contrario, podría quedar expuesta información privada.
• Prueba tu archivo Robots.txt: Después de crear tu archivo robots.txt, pruébalo para asegurarte de que funciona correctamente. Asegúrate de que todas las páginas que quieres bloquear están realmente bloqueadas.
• Actualiza tu archivo Robots.txt: A medida que cambie tu sitio web, actualiza también tu archivo robots.txt. Si no lo haces, los motores de búsqueda podrían no ver tus nuevas páginas o podrían ver páginas que no quieres que vean.
• Comprende lo que hace Robots.txt: Asegúrate de que sabes lo que hace el archivo robots.txt y cómo funciona con los motores de búsqueda. Podrías cometer errores al configurarlo si no lo entiendes.

Resumen

En conclusión, la gestión de tu archivo robots.txt es una parte esencial de la gestión SEO eficaz de tu sitio WordPress. Siguiendo las pautas anteriores, crearás un archivo robots.txt a medida que mejore la visibilidad y proteja las áreas sensibles de tu sitio.

Sin embargo, es importante ser cauteloso al utilizarlo, ya que una configuración incorrecta puede provocar la desindexación completa de tu sitio (por ejemplo, utilizando Disallow: /).

En general, la mejor práctica es permitir que los motores de búsqueda rastreen la mayor parte posible de tu sitio, protegiendo al mismo tiempo la información sensible y evitando el contenido duplicado. Por ejemplo, puedes utilizar la directiva Disallow para bloquear páginas o carpetas específicas o la directiva Allow para anular una regla Disallow para una página concreta.

No todos los robots siguen las reglas indicadas en el archivo Robots.txt, por lo que controlar lo que se indexa no es infalible. No obstante, es una herramienta útil para incluir en tu estrategia SEO.

Si buscas un proveedor de alojamiento que esté a la altura de tus esfuerzos por optimizar tu sitio web, piensa en Cloudways Hosting. Con sus planes escalables, su excelente atención al cliente y su garantía de tiempo de actividad del 99,99%, puedes estar seguro de que tu sitio web estará en su mejor momento mientras te centras en desarrollar tu presencia en Internet.

Agente de usuario: BadBot  
No permitir: /carpeta-privada/

Mapa del sitio: https://yourdomain.com/sitemap.xml

Salwa Mujtaba

Salwa Mujtaba es redactora de contenidos técnicos en Cloudways. Con una sólida formación en Informática y experiencia previa como jefa de equipo en Operaciones de Cloudways, aporta a sus escritos un profundo conocimiento de la Plataforma Cloudways. Salwa crea contenidos que simplifican conceptos complejos, haciéndolos accesibles y atractivos para los lectores. Cuando no está escribiendo, puedes encontrarla disfrutando de la buena música, leyendo un libro o pasando tiempo con su familia.

Get Connected on: Twitter Community Forum