Robots.txt

Robots.txt es un archivo que indica a los rastreadores de los motores de búsqueda a qué páginas o secciones de un sitio web deben y no deben acceder. El archivo se encuentra en el directorio raíz de un sitio web y sigue un formato estándar.

Los principales motores de búsqueda, como Google, Bing y Yahoo, reconocen y cumplen las directivas especificadas en el archivo Robots.txt.

Tener un archivo Robots.txt no es obligatorio, pero es una buena práctica para ayudarle a gestionar cómo los motores de búsqueda interactúan con su sitio web.

Consta de dos partes esenciales: agentes de usuario y directivas.

User-agents: Esta línea especifica a qué robots web se aplica el archivo. Por ejemplo,

User-agent: Googlebot

Esto significa que el archivo sólo se aplica al robot web Googlebot. El símbolo * puede utilizarse para representar a todos los robots web.

Directivas: Esta línea especifica a qué partes del sitio web no deben acceder los robots web.

Puede consultar Google Search Central para obtener más información sobre cómo escribir un archivo Robots.txt.

Dónde enviar el archivo Robots.txt

Una vez lo hayas escrito, accede a la siguiente sección para añadirlo.

Ve a la pestaña Configuración de tu panel de control

Navega hasta la Configuración general subpestaña

Desplácese hasta la parte inferior de la página para acceder al Robots.txt.

Insértalo en la casilla inferior y pulsa el botón Guardar cambios.

Si tienes alguna duda sobre cupones, descuentos, o lo que sea, envíanos un email a [email protected] o haz clic en el icono azul de abajo para chatear 😊