Portada » Blog » Bloquear o no bloquear a los bots de IA como Google Extended y ChatGPT
BLoquear a la IA

Bloquear o no bloquear a los bots de IA como Google Extended y ChatGPT

La llegada de la inteligencia artificial a los motores de búsqueda tiene como objetivo dar respuestas directas a los usuarios. ¿Supondrá esto una caída del tráfico de nuestra web? ¿Debemos alimentar a la bestia cuando va a utilizar precisamente nuestro contenido para satisfacer la curiosidad del usuario intentando que no vaya a nuestra web para informarse?

De eso hablamos hoy

Recientes estudios nos dicen que Google muestra en sus resultados la opción de SGE (search generative experience) para el 86,8% de todas las consultas de búsqueda (estamos hablando siempre en el modo beta en el que nos encontramos actualmente).

Las veces que aparece el módulo de SGE, en un 66% de los casos lo hace con un pequeño botón de generar resultados por IA.

Y en otro 34% de las veces lo hace precargando un enlace que dice “mostrar más”.

En ambos casos el módulo de SGE lo que provoca es un desplazamiento hacia debajo de los resultados orgánicos tradicionales y eso lógicamente les resta visibilidad.

Aquí llegamos a la pregunta del millón que todos nos hacemos ¿El uso de IA por parte de Google afectará a nuestra tasa de clic y por tanto se reducirá el tráfico orgánico de nuestras páginas web?

El hecho de que los resultados tengan menos visibilidad afectará lógicamente  en el tráfico pero si conseguimos estar mencionados en el módulo de SGE quizá no tanto ¿verdad?

La cuestión es que si nos hacemos eco de la info que se ha publicado en los últimos días, nos encontramos que en un 94% de las veces, los resultados que muestra el módulo de SGE son diferentes a los enlaces que aparecen en los resultados orgánicos. Es decir, hemos estado trabajando para estar en el top 10 y ahora Google no lo tiene en cuenta o eso parece.

Solo un 4,5% de los enlaces que aparecen en el módulo de SGE sí que coinciden con los resultados que está en el top ten tanto a nivel de página como de dominio y en 1,6% de las veces coindice el dominio pero no la página.

La conclusión es clara: han cambiado las reglas de juego y los factores de posicionamiento para la IA son diferentes a los de la  SERP tradicional  por lo que nos espera un año de investigación para estar en todos los sitios posibles y conocer cuáles son los factores que harán que tengamos presencia.

Si estas son las nuevas reglas, la pregunta natural que nos hacemos es ¿por qué vamos a ayudar con nuestro contenido a que Google de más respuestas directas cuando a cambio recibimos menos visibilidad y menos tráfico?, ¿Qué hacemos? ¿bloqueamos a los bot de IA? ¿por qué voy a alimentar a la bestia?

Esta situación no es nueva, ya que nos hemos encontrado en momentos similares cuando por ejemplo Google sacó algunos features snippets de respuesta directa, como por ejemplo aquellos en donde puedes  saber cuál es la estatura un personaje famoso o cuál es el tipo de cambio de una moneda. Para este tipo de cuestiones Google te muestra un feature snippet con un módulo destacado donde el usuario sin salirse del propio buscador puede tener la respuesta que busca. No nos olvidemos que SGE es un módulo más dentro de lo que va a ser la SERP de Google, aunque con una diferencia sustancial, su prevalencia parece que va a ser mayor.

Pero antes de tomar una decisión entendamos mejor cómo funcionan estos bots de IA.

Diferencia entre un LLM y grafos de conocimiento

Para ello debemos comprender cuáles son las diferencias entre un LLM y los grafos de conocimiento o knowledge graph.

Los LLM es el acrónimo de Large language Model, un modelo de inteligencia artificial diseñado para entender y generar lenguaje como si fuera un humano de forma automática, es como un cerebro artificial que procesa grandes cantidades de texto y a partir de ese texto aprende patrones  y estructuras del lenguaje y lo aprovecha para generar texto nuevo.

Un LLM muy conocido es chat GPT desarrollado por open Ai. Estos modelos de inteligencia artificial se alimentan de conjuntos de datos preestablecidos por lo que la información en muchos casos no se actualiza y el aprendizaje viene derivado por interpretaciones y análisis de los datos que tiene dentro de él. La versión 3.5 de CHAT GPT tiene datos a enero de 2022 y la 4.0 hasta abril 2023

Los grados de conocimiento o Knowledge Graph es una estructura de información más sencilla que se genera por la conexión o relaciones entre diferentes nodos de información y no por procesamiento de texto. Por ejemplo, el Santiago Bernabéu es un estadio de fútbol que está en Madrid, el museo Thyssen es un museo que también está en esta ciudad, y como vemoms a través de Madrid se pueden relacionar tanto el Santiago Bernabéu como el museo Thyssen, pero resulta que Madrid es la capital de España y España está en la Unión Europea y en la Unión Europea hay otros países como por ejemplo Italia, entonces si nos damos cuenta podemos relacionar el Estadio Santiago Bernabéu con Italia a través de las relaciones que hay entre los distintos ítems de informacion que hemos ido enlazando.

¿Cuáles son las principales diferencias por tanto entre un LLM y un grafo de conocimiento?

Por un lado el LLM comprende el lenguaje natural y le podemos preguntar sobre muchas cuestiones y sin embargo el grafo de conocimiento está limitado para determinadas entidades como es el estadio Bernabéu y puede no estar disponible para el polideportivo que tienes al lado de casa.

Sin embargo el conocimiento que tiene el LLM es muy genérico y puede generar fácilmente las temidas alucinaciones por errores en la interpretación de los datos y estoo hace que sea difícil de anticipar cómo va aprendiendo este modelo. Sin embargo el grafo presenta un conocimiento específico y estructurado de la información gracias a las relaciones entre los distintos ítems, lo que hace que sea mucho más fiable ya que la información está basada en datos y no interpretaciones que además se actualizan de forma permanente.

En el audio os explico la diferencia de resultados si busco Christian Oliver en Chat GPT 4 y en el grafo de conocimiento de Google.

SGE = LLM + RAG (generación aumentada de recuperación)

Como vemos claramente Chat GPT es solo un LLM pero Google SGE quiere ser la combinación de LLM y grafos de conocimiento que en este caso llamamos RAG (generación aumentada de recuperación) , que recupera datos de un grafo de conocimiento a partir de una consulta del usuario lo que lo hace más preciso.

Además la actualización constante de los datos de diferentes fuentes permite la atribución de dicha información que es lo que nosotros queremos cuando generamos contenido en nuestra página web.

En un inicio los ejemplos que mostraba a Google adolecían de enlaces a las fuentes pero eso se corrigió y ahora sí que hay enlaces de diferentes tipos tanto de texto como por ejemplo en carruseles de imágenes, etcétera qué derivan a la fuente de la que se alimenta.

¿Cómo saber si los módulos de SGE de Google están afectando al tráfico de mi web? tenemos que partir de la base de que no todos los negocios se verán afectados porque aquellos que tengan que ver con temáticas your money your life YMYL Google será muy precavido. Estamos hablando de temáticas relacionadas con la salud, con las finanzas, también con aspectos legales.  Así pues si un usuario quiere preguntarle a Google si una mancha que tiene la piel puede ser cáncer, Google en el caso de mostrarle un módulo de SG le incluirá una exención de responsabilidad derivando al usuario a que acuda a un profesional, lo mismo si el usuario le pregunta dónde debe invertir los ahorros de su vida para tener una jubilación en condiciones. Para el resto de temáticas sí que podremos ver ese efecto y deberemos poder medirlo.

Ante búsquedas informacionales donde la query sea por ejemplo “propiedades de la miel” Google sin duda nos mostrará el módulo de inteligencia artificial y ofrecerá una respuesta directa. Si tú quieres ser una de las fuentes que Google mencione cuando dé respuestas directas ante búsquedas informacionales debes empezar a trabajar un contenido, por supuesto de calidad y orientado a la respuesta que busca el usuario, es lo que llamamos AEO, answer engine optimization.

Para consultas más de comparación y transaccionales lo que veremos es que se reducirá el customer journey del cliente ya que Google configurará las listas de productos en su propio módulo como puede ser por ejemplo “mejores hornos con función de autolimpieza)”  y ya cuando el usuario decida adquirir un producto o servicio de manera online irá directamente a la ficha de producto, así que en esos casos lo que veremos será una traslación del tráfico desde la parte de lista de productos (LDP) de nuestro ecommerce a la parte de detalle de producto. Y esto es una buena noticia porque aquellas visitas estarán mucho más cualificadas y su nivel de conversión será mucho mayor.

También lo que veremos es que fruto de la incorporación en nuestras vidas de la inteligencia artificial, los usuarios van a empezar a trabajar sus consultas de una manera más conversacional, serán queries más largas y eso provocará que ese tipo de consultas tengan unos volúmenes de búsqueda mucho menores pero al igual que en el punto anterior también tendrán más calidad a nivel de conversión. Tendremos por tanto que profundizar en lo que son las secciones de people also ask y otras preguntas de los usuarios,  para entender cuáles son las cuestiones más frecuentes que se hacen los usuarios y lo sabremos no solamente por esa sección sino también por lo que vemos en nuestros propios establecimientos con nuestros clientes reales. Y dar buena respuesta a esas cuestiones en modo AEO favorecerá que nos incluya Google como referencia en sus resultados.

Cómo medir el efecto de SGE en los resultados de nuestra web

Os sugiero que empecéis a medir dos parámetros claros por un lado el posicionamiento que tenéis para determinadas keywords y el CTR.

Cuando hay un posicionamiento bueno y un bajo CTR se pueden estar dando por un lado un problema con los copies porque no sean lo suficientemente atractivos para que el usuario haga clic o un cambio en los módulos de la SERP que nos estén restando visibilidad.

Si ese es el caso, si para las keywords más relevantes para nuestro negocio, las más estratégicas, estamos bien posicionados y tenemos un bajo CTR porque aparece el módulo de SGE lo que tendremos que hacer es analizar precisamente ese módulo y ver cuáles son las webs que se mencionan y analizarlas. Seguramente Google estará valorando indicadores que tendrán que ver con el EEAT (experiencia, el conocimiento la autoridad y la confiabilidad) y no nos quedará otra que trabajar en esa misma línea para que la siguiente vez seamos nosotros los elegidos.

Con esto llegamos a la parte final donde respondemos a la pregunta que nos hacíamos al principio: ¿bloqueamos o no bloqueamos a los bots de inteligencia artificial?

Bloquear o no bloquear a los bots de IA

Mi sugerencia es no hacerlo por ahora por varios motivos:

Si el bot ya ha pasado por tu contenido ya forma parte del data set que tiene y por tanto aunque ahora digas que no pase ya se ha alimentado de esa información.

Por otro lado vemos que sí hay intención de establecer modelos de atribución y si no lo hubiera, a medida que los aspectos legales se vayan puliendo a nivel de propiedad intelectual veremos que será obligatorio estar mencionados y enlazados.

Por otro lado, y en lo que se refiere a Google, tenemos el bot Google extended que alimentará su IA, pero solo la parte de BARD que es un LLM puro, por tanto si lo bloqueas, en ningún caso estararás bloqueando a SGE.

A la fecha ya hay muchas webs que ya lo están bloqueando.  De hecho el bot de chat GPT está bloqueado por más del 30% de las webs el CCbot por el 16,7%, el de Google Extended por el 8,50% y el de anthrophic por el 2,8%.

No hay una visión única sobre qué es lo que hay que hacer, yo ya te he explicado cómo funcionan (por ahora) qué impacto puede tener en el tráfico de tu web, cómo lo puedes medir, te he dado mi punto de vista y en base a ello tendrás que temar una decisión que no tiene por qué ser ahora.

Iremos viendo cómo el año 2024 nos trae sorpresas y cómo las vamos haciendo frente.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Scroll al inicio