Robots Exclusion Checker es una extensión de Chrome diseñada para indicar visualmente si alguna exclusión de robots está impidiendo que tu página sea rastreada o indexada por los motores de búsqueda. Esta herramienta es fundamental para cualquier persona o negocio local que tenga una web, proporcionando una clara indicación visual sobre el estado de rastreo e indexación de una URL. A continuación, te explicamos los conceptos clave y cómo esta extensión te ayudará a gestionarlos eficazmente.
Si te resultan complejos los términos de robotos.txt y metaetiquetas, en el podcast te explico con el símil de «hacer la compra en un super mercado» todos estos términos para que ya no te queden dudas.
¿Qué es el archivo robots.txt?
El archivo robots.txt es un archivo de texto que se coloca en la raíz de tu sitio web y que proporciona directrices a los motores de búsqueda sobre qué páginas o secciones se deben rastrear o no . Sin embargo, es importante destacar que robots.txt no controla la indexación de las páginas, solo su accesibilidad para los rastreadores.
Si hay algún problema y una url está indicada para que no sea accesible por el buscador, la extensión Robots Exclusion Checker te lo señala en rojo y además te muestra la línea en el archivo robots.txt con esa instrucción. Si la url es accesible para los buscadores, la extensión estará en color verde.
Metaetiqueta Robots
Una metaetiqueta robots es un fragmento de HTML que indica a los robots de los motores de búsqueda lo que pueden y no pueden hacer en una página determinada. Permite controlar el rastreo, la indexación y cómo se muestra la información de esa página en los resultados de búsqueda. Se coloca en cada url o página web.
Ejemplo de metaetiqueta robots:
<meta name="robots" content="noindex, nofollow">Importancia de la metaetiqueta robots para el SEO
La metaetiqueta robots se utiliza para evitar que ciertas páginas aparezcan en los resultados de búsqueda, especialmente aquellas con poco valor para el usuario, en entornos de prueba, páginas de gracias, resultados de búsqueda interna, entre otras. Combinar correctamente las directivas a nivel de página con robots.txt y sitemaps es crucial para el SEO.
Si tienes dudas de si una url está bloqueada para indexarse en el buscador, lo tienes fácil con la extensión de Robots Exclusion Checker: haces clic y verás si está en rojo que está bloqueada y en verde que está ok para la indexación.
A modo de información adicional, por si quieres saber todo lo que puedes hacer con las metaetiquetas robots, aquí te dejo algo más de info:
Valores y atributos de una metaetiqueta robots
- noindex: Indica a los motores de búsqueda que no indexen la página.
- nofollow: Impide que los robots rastreen los enlaces de la página.
- noarchive: Evita que Google muestre una copia en caché de la página.
- notranslate: Evita que Google ofrezca una traducción de la página en las SERP.
- noimageindex: Evita que Google indexe las imágenes insertadas en la página.
<meta name=»robots» content=»nofollow, noimageindex» />
Si bien las metaetiquetas robots se usan más comúnmente para controlar si una página está indexada o no y si los enlaces de esa página son rastreados por los motores de búsqueda, también se pueden usar para controlar snippets en las SERPs.
- nosnippet: Desactiva todos los fragmentos de texto y vídeo dentro de las SERP.
- max-snippet: Especifica la longitud máxima de texto de un snippet en caracteres.
- max-video-preview: Especifica la duración máxima de una vista previa de vídeo en segundos.
- max-image-preview: Especifica el tamaño máximo de la vista previa de una imagen
Cabecera HTTP X-Robots-Tag
¿Qué es el X-Robots-Tag?
Una forma alternativa de controlar cómo los motores de búsqueda rastrean e indexan tus páginas web es utilizar la etiqueta x-robots-tag en lugar de las metaetiquetas robots.
Si bien implementar metaetiquetas robots en páginas HTML es relativamente sencillo, x-robots-tag es más complicado. Si deseas controlar cómo se maneja el contenido que no es HTML, por ejemplo, un PDF, deberás usar la etiqueta x-robots-tag. También lo puedes utilizar cuando necesitas marcar directivas a gran escala (desindexar todo un subdominio, subdirectorio, o páginas con ciertos parámetros de manera más eficiente).
Para usar la etiqueta x-robots, deberás poder acceder al encabezado del sitio web de tu sitio .php, .htaccess, o archivo de configuración del servidor. Si no tienes acceso a esto, deberás usar metaetiquetas robots para instruir a los rastreadores.
La extensión de Robots Exclusion Checker gracias a la gama de colores rojo, verde y rojo te informa del estado de esta etiqueta en la URL en cuestión. Si no esta implementada la etiqueta te lo dice y el color que verás será el verde.
Etiqueta Rel=Canonical
¿Qué es la etiqueta rel=canonical?
La etiqueta rel=canonical es una directiva HTML que se coloca en la sección de una página web para indicar a los motores de búsqueda cuál es la versión «canónica» de una página. Esto es útil para evitar problemas de contenido duplicado al señalar la URL preferida para indexación.
<link rel="canonical" href="https://www.ejemplo.com/pagina-preferida">
Esto me lo suelo encontrar mucho en las paginaciones y es un error a resolver como te explico en el podcast porque «entierras» sin darte cuenta tu contenido.
Si una url está canonicalizada, la extensión te indica en amarillo qué está pasando y te identifica la url a la que canonicalizas.
Como vemos, gracias a esta extensión tan sencilla podemos detectar problemas de rastreo e indexación de forma rápida y mejorar el seo de nuestra web y los resultados de nuestro negocio de forma rápida.
Pero como sabes la web no es suficiente para posicionar a nivel local, si quieres realmente destacar en tu zona geográfica y conseguir más negocio y más clientes, hazte con mi curso.
