Una guía para el aprendizaje automático en la búsqueda: términos clave, conceptos y algoritmos

Cuando se trata de aprendizaje automático, hay algunos conceptos y términos generales que todos los que realizan búsquedas deben conocer. Todos deberíamos saber dónde se usa el aprendizaje automático y los diferentes tipos de aprendizaje automático que existen.

Siga leyendo para obtener una mejor comprensión de cómo el aprendizaje automático afecta la búsqueda, qué están haciendo los motores de búsqueda y cómo reconocer el aprendizaje automático en el trabajo. Comencemos con algunas definiciones. Luego nos adentraremos en los algoritmos y modelos de aprendizaje automático.

Términos de aprendizaje automático

Lo que sigue son definiciones de algunos términos importantes de aprendizaje automático, la mayoría de los cuales se analizarán en algún momento del artículo. Esto no pretende ser un glosario completo de todos los términos de aprendizaje automático. Si quieres eso, Google proporciona uno bueno aquí.

• Algoritmo : un proceso matemático que se ejecuta en datos para producir una salida. Existen diferentes tipos de algoritmos para diferentes problemas de aprendizaje automático.
• Inteligencia artificial (IA) : un campo de la informática centrado en equipar a las computadoras con habilidades o capacidades que replican o están inspiradas en la inteligencia humana.
• Corpus : Una colección de texto escrito. Por lo general, organizado de alguna manera.
• Entidad : Una cosa o concepto que es único, singular, bien definido y distinguible. Puede pensarlo libremente como un sustantivo, aunque es un poco más amplio que eso. Un tono específico de rojo sería una entidad. ¿Es único y singular en el sentido de que nada más es exactamente igual, está bien definido (piense en el código hexadecimal) y se distingue porque puede distinguirlo de cualquier otro color?
• Aprendizaje automático : un campo de la inteligencia artificial, centrado en la creación de algoritmos, modelos y sistemas para realizar tareas y, en general, para mejorarse a sí mismos en la realización de esa tarea sin ser programados explícitamente.
• Modelo: un modelo a menudo se confunde con un algoritmo. La distinción puede volverse borrosa (a menos que sea un ingeniero de aprendizaje automático). Esencialmente, la diferencia es que donde un algoritmo es simplemente una fórmula que produce un valor de salida, un modelo es la representación de lo que ese algoritmo ha producido después de haber sido entrenado para una tarea específica. Entonces, cuando decimos "modelo BERT" nos referimos al BERT que ha sido entrenado para una tarea específica de NLP (qué tarea y tamaño del modelo dictarán qué modelo BERT específico).
• Procesamiento del lenguaje natural (NLP): un término general para describir el campo de trabajo en el procesamiento de información basada en el lenguaje para completar una tarea.
• Red neuronal : una arquitectura modelo que, inspirándose en el cerebro, incluye una capa de entrada (donde entran las señales; en un ser humano, podría pensarse que es la señal enviada al cerebro cuando se toca un objeto), una serie de capas ocultas (que proporcionan una serie de rutas diferentes que la entrada se puede ajustar para producir una salida) y la capa de salida. Las señales ingresan, prueban múltiples "caminos" diferentes para producir la capa de salida y están programadas para gravitar hacia condiciones de salida cada vez mejores. Visualmente se puede representar por:

Inteligencia artificial vs. aprendizaje automático: ¿cuál es la diferencia?

A menudo escuchamos las palabras inteligencia artificial y aprendizaje automático usadas indistintamente. No son exactamente iguales.

La inteligencia artificial es el campo de hacer que las máquinas imiten la inteligencia, mientras que el aprendizaje automático es la búsqueda de sistemas que puedan aprender sin ser programados explícitamente para una tarea.

Visualmente, puedes pensarlo así:

Algoritmos relacionados con el aprendizaje automático de Google

Todos los principales motores de búsqueda utilizan el aprendizaje automático de una o varias formas. De hecho, Microsoft está produciendo algunos avances significativos. Así son redes sociales como Facebook a través de Meta AI con modelos como WebFormer.

Pero nuestro enfoque aquí es el SEO. Y aunque Bing es un motor de búsqueda, con una participación de mercado de EE. UU. del 6,61 %, no nos centraremos en él en este artículo mientras exploramos tecnologías populares e importantes relacionadas con la búsqueda.

Google utiliza una gran cantidad de algoritmos de aprendizaje automático. Literalmente, no hay forma de que usted, yo o cualquier ingeniero de Google podamos conocerlos todos. Además de eso, muchos son simplemente héroes anónimos de búsqueda, y no necesitamos explorarlos completamente, ya que simplemente hacen que otros sistemas funcionen mejor.

Por contexto, estos incluirían algoritmos y modelos como:

• Google FLAN , que simplemente acelera y hace que la transferencia de aprendizaje de un dominio a otro sea menos costosa desde el punto de vista computacional. Vale la pena señalar: en el aprendizaje automático, un dominio no se refiere a un sitio web sino a la tarea o grupos de tareas que realiza, como el análisis de sentimientos en el procesamiento de lenguaje natural (NLP) o la detección de objetos en Computer Vision (CV).
• V-MoE : el único trabajo de este modelo es permitir el entrenamiento de modelos de visión grandes con menos recursos. Son desarrollos como este los que permiten el progreso al expandir lo que se puede hacer técnicamente.
• Sub-Pseudo Etiquetas : este sistema mejora el reconocimiento de acciones en video, lo que ayuda en una variedad de entendimientos y tareas relacionados con videos.

Ninguno de estos afecta directamente la clasificación o los diseños. Pero afectan el éxito de Google.

Así que ahora veamos los algoritmos y modelos centrales involucrados con las clasificaciones de Google.

RankBrain

Aquí es donde comenzó todo, la introducción del aprendizaje automático en los algoritmos de Google.

Introducido en 2015, el algoritmo RankBrain se aplicó a consultas que Google no había visto antes (lo que representa el 15 % de ellas). En junio de 2016 se amplió para incluir todas las consultas.

Después de grandes avances como Hummingbird y Knowledge Graph, RankBrain ayudó a Google a expandirse de ver el mundo como cadenas (palabras clave y conjuntos de palabras y caracteres) a cosas (entidades). Por ejemplo, antes de esto, Google esencialmente veía la ciudad en la que vivo (Victoria, BC) como dos palabras que coexisten regularmente, pero que también ocurren por separado y pueden, pero no siempre, significar algo diferente cuando lo hacen.

Después de RankBrain, vieron a Victoria, BC como una entidad, tal vez la ID de la máquina (/m/07ypt), por lo que incluso si presionan solo la palabra "Victoria", si pudieran establecer el contexto, la tratarían como la misma entidad que Victoria, BC.

Con esto “ven” más allá de las meras palabras clave y al significado, solo lo hace nuestro cerebro. Después de todo, cuando lees "pizza cerca de mí", ¿lo entiendes en términos de tres palabras individuales o tienes una idea visual de pizza en tu cabeza y te comprende en el lugar en el que te encuentras?

En resumen, RankBrain ayuda a los algoritmos a aplicar sus señales a cosas en lugar de palabras clave.

BERT

BERT ( Representaciones de codificador bidireccional a partir de transformadores).

Con la introducción de un modelo BERT en los algoritmos de Google en 2019, Google pasó de la comprensión unidireccional de los conceptos a la bidireccional.

Este no fue un cambio mundano.

La imagen que Google incluyó en su anuncio de su código abierto del modelo BERT en 2018 ayuda a pintar la imagen:

Sin entrar en detalles sobre cómo funcionan los tokens y los transformadores en el aprendizaje automático, es suficiente para nuestras necesidades aquí simplemente mirar las tres imágenes y las flechas y pensar cómo en la versión BERT, cada una de las palabras obtiene información de las que están en cualquiera de las dos. lado, incluyendo esas múltiples palabras de distancia.

Donde anteriormente un modelo solo podía aplicar la percepción de las palabras en una dirección, ahora obtienen una comprensión contextual basada en palabras en ambas direcciones.

Un ejemplo sencillo podría ser “el coche es rojo”.

Solo después de que BERT se entendió que rojo era el color del automóvil, porque hasta entonces la palabra rojo venía después de la palabra automóvil, y esa información no se devolvía.

Aparte, si desea jugar con BERT, hay varios modelos disponibles en GitHub.

LaMDA

LaMDA aún no se ha implementado en la naturaleza y se anunció por primera vez en Google I/O en mayo de 2021.

Para aclarar, cuando escribo "aún no se ha implementado", quiero decir "según mi leal saber y entender". Después de todo, nos enteramos de RankBrain meses después de que se implementara en los algoritmos. Dicho esto, cuando lo sea será revolucionario.

LaMDA es un modelo de lenguaje conversacional que aparentemente aplasta el estado del arte actual.

El enfoque con LaMDA es básicamente doble:

1. Mejorar la razonabilidad y la especificidad en la conversación. Esencialmente, para garantizar que una respuesta en un chat sea razonable Y específica. Por ejemplo, para la mayoría de las preguntas, la respuesta “No sé” es razonable pero no es específica. Por otro lado, una respuesta a una pregunta como “¿Cómo estás?” es decir, “Me gusta la sopa de pato en un día lluvioso. Es muy parecido a volar cometas”. es muy específico pero difícilmente razonable.
   LaMDA ayuda a abordar ambos problemas.
2. Cuando nos comunicamos, rara vez es una conversación lineal. Cuando pensamos en dónde podría comenzar y dónde termina una discusión, incluso si se tratara de un solo tema (por ejemplo, "¿Por qué nuestro tráfico está bajo esta semana?"), generalmente habremos cubierto diferentes temas que no habríamos tratado. vaticinó la entrada.
   Cualquiera que haya usado un chatbot sabe que son pésimos en estos escenarios. No se adaptan bien, y no llevan bien la información del pasado al futuro (y viceversa).
   LaMDA aborda aún más este problema.

Una conversación de muestra de Google es:

Podemos ver que se adapta mucho mejor de lo que cabría esperar de un chatbot.

Veo que LaMDA se está implementando en el Asistente de Google. Pero si pensamos en ello, las capacidades mejoradas para comprender cómo funciona un flujo de consultas a nivel individual ciertamente ayudarían tanto en la personalización de los diseños de resultados de búsqueda como en la presentación de temas y consultas adicionales para el usuario.

Básicamente, estoy bastante seguro de que veremos tecnologías inspiradas en LaMDA impregnar las áreas de búsqueda que no son de chat.

KELM

Arriba, cuando hablábamos de RankBrain, mencionamos las entidades y los ID de las máquinas. Bueno, KELM, que se anunció en mayo de 2021, lo lleva a un nivel completamente nuevo.

KELM nació del esfuerzo por reducir los sesgos y la información tóxica en la búsqueda. Debido a que se basa en información confiable (Wikidata), puede usarse bien para este propósito.

En lugar de ser un modelo, KELM es más como un conjunto de datos. Básicamente, se trata de datos de entrenamiento para modelos de aprendizaje automático. Más interesante para nuestros propósitos aquí, es que nos informa sobre un enfoque que Google adopta para los datos.

En pocas palabras, Google tomó el Gráfico de conocimiento de Wikidata en inglés, que es una colección de triples (entidad de sujeto, relación, entidad de objeto (automóvil, color, rojo) y lo convirtió en varios subgráficos de entidad y lo verbalizó. Esto se explica más fácilmente en una imagen:

En esta imagen vemos:

• El triple describe una relación individual.
• El subgrafo de entidad mapea una pluralidad de tripletas relacionadas con una entidad central.
• La versión de texto del subgrafo de entidad.
• La oración adecuada.

Luego, otros modelos pueden usar esto para ayudar a entrenarlos para reconocer hechos y filtrar información tóxica.

Google ha abierto el corpus y está disponible en GitHub. Mirar su descripción lo ayudará a comprender cómo funciona y su estructura, si desea obtener más información.

MAMÁ

MUM también se anunció en Google I/O en mayo de 2021.

Si bien es revolucionario, es engañosamente simple de describir.

MUM significa M ultitask Unified M odel y es multimodal. Esto significa que "entiende" diferentes formatos de contenido como prueba, imágenes, video, etc. Esto le da el poder de obtener información de múltiples modalidades, así como responder.

Aparte: Este no es el primer uso de la arquitectura MultiModel. Fue presentado por primera vez por Google en 2017.

Además, debido a que MUM funciona en cosas y no en cadenas, puede recopilar información en varios idiomas y luego brindar una respuesta en el idioma del usuario. Esto abre la puerta a grandes mejoras en el acceso a la información, especialmente para aquellos que hablan idiomas que no se atienden en Internet, pero incluso los angloparlantes se beneficiarán directamente.

El ejemplo que usa Google es un excursionista que quiere escalar el monte Fuji. Algunos de los mejores consejos e información pueden estar escritos en japonés y no estar disponibles para el usuario, ya que no sabrán cómo mostrarlos, incluso si pudieran traducirlos.

Una nota importante sobre MUM es que el modelo no solo comprende el contenido, sino que también puede producirlo. Entonces, en lugar de enviar pasivamente a un usuario a un resultado, puede facilitar la recopilación de datos de múltiples fuentes y proporcionar la retroalimentación (página, voz, etc.) por sí mismo.

Este también puede ser un aspecto preocupante de esta tecnología para muchos, incluido yo mismo.

¿Dónde más se usa el aprendizaje automático?

Solo hemos abordado algunos de los algoritmos clave de los que habrá oído hablar y que creo que están teniendo un impacto significativo en la búsqueda orgánica. Pero esto está lejos de la totalidad de donde se usa el aprendizaje automático.

Por ejemplo, también podemos preguntar:

• En Ads, ¿qué impulsa los sistemas detrás de las estrategias de ofertas automáticas y la automatización de anuncios?
• En Noticias, ¿cómo sabe el sistema cómo agrupar historias?
• En Imágenes, ¿cómo identifica el sistema objetos específicos y tipos de objetos?
• En el correo electrónico, ¿cómo filtra el sistema el spam?
• En traducción, ¿cómo se ocupa el sistema de aprender nuevas palabras y frases?
• En Video, ¿cómo aprende el sistema qué videos recomendar a continuación?

Todas estas preguntas y cientos, si no muchos miles más, tienen la misma respuesta:

Aprendizaje automático.

Tipos de algoritmos y modelos de aprendizaje automático

Ahora veamos dos niveles de supervisión de algoritmos y modelos de aprendizaje automático: aprendizaje supervisado y no supervisado. Es importante comprender el tipo de algoritmo que estamos viendo y dónde buscarlos.

Aprendizaje supervisado

En pocas palabras, con el aprendizaje supervisado, el algoritmo recibe datos de prueba y entrenamiento completamente etiquetados.

Es decir, alguien se ha tomado la molestia de etiquetar miles (o millones) de ejemplos para entrenar un modelo sobre datos fiables. Por ejemplo, etiquetar camisetas rojas en x número de fotos de personas con camisetas rojas.

El aprendizaje supervisado es útil en problemas de clasificación y regresión. Los problemas de clasificación son bastante sencillos. Determinar si algo es o no es parte de un grupo.

Un ejemplo sencillo es Google Photos.

Google me ha clasificado, así como etapas. No han etiquetado manualmente cada una de estas imágenes. Pero el modelo habrá sido entrenado en datos etiquetados manualmente para etapas. Y cualquiera que haya usado Google Photos sabe que periódicamente te piden que confirmes las fotos y las personas que aparecen en ellas. Somos las etiquetadoras manuales.

¿Alguna vez has usado ReCAPTCHA? ¿Adivina lo que estás haciendo? Así es. Regularmente ayuda a entrenar modelos de aprendizaje automático.

Los problemas de regresión, por otro lado, se ocupan de problemas en los que hay un conjunto de entradas que deben asignarse a un valor de salida.

Un ejemplo simple es pensar en un sistema para estimar el precio de venta de una casa con la entrada de pies cuadrados, cantidad de habitaciones, cantidad de baños, distancia al mar, etc.

¿Puede pensar en algún otro sistema que pueda incluir una amplia gama de características/señales y luego necesite asignar un valor a la entidad (/sitio) en cuestión?

Si bien ciertamente es más complejo y abarca una enorme variedad de algoritmos individuales que cumplen varias funciones, la regresión es probablemente uno de los tipos de algoritmos que impulsa las funciones centrales de la búsqueda.

Sospecho que nos estamos moviendo hacia modelos semisupervisados ​​aquí, con etiquetado manual (piense en evaluadores de calidad) que se realiza en algunas etapas y señales recopiladas por el sistema que determinan la satisfacción de los usuarios con los conjuntos de resultados que se utilizan para ajustar y crear los modelos en juego. .

Aprendizaje sin supervisión

En el aprendizaje no supervisado, a un sistema se le da un conjunto de datos sin etiquetar y se le deja determinar por sí mismo qué hacer con ellos.

No se especifica ningún objetivo final. El sistema puede agrupar elementos similares, buscar valores atípicos, encontrar correlación, etc.

El aprendizaje no supervisado se usa cuando tiene una gran cantidad de datos y no puede o no sabe de antemano cómo debe usarse.

Un buen ejemplo podría ser Google News.

Google agrupa noticias similares y también muestra noticias que no existían anteriormente (por lo tanto, son noticias).

Estas tareas serían realizadas principalmente (aunque no exclusivamente) por modelos no supervisados. Modelos que han "visto" qué tan exitoso o no ha sido el agrupamiento o la creación de superficies anteriores, pero que no pueden aplicarlo completamente a los datos actuales, que no están etiquetados (como lo estaban las noticias anteriores) y toman decisiones.

Es un área increíblemente importante del aprendizaje automático en lo que respecta a la búsqueda, especialmente a medida que las cosas se expanden.

Google Translate es otro buen ejemplo. No la traducción uno a uno que solía existir, donde el sistema fue entrenado para entender que la palabra x en inglés es igual a la palabra y en español, sino técnicas más nuevas que buscan patrones en el uso de ambas, mejorando la traducción a través de semi -aprendizaje supervisado (algunos datos etiquetados y muchos no) y aprendizaje no supervisado, traduciendo de un idioma a un idioma completamente desconocido (para el sistema).

Vimos esto con MUM arriba, pero existe en otros documentos y los modelos están bien.

Solo el principio

Con suerte, esto ha proporcionado una línea de base para el aprendizaje automático y cómo se usa en la búsqueda.

Mis futuros artículos no serán solo sobre cómo y dónde se puede encontrar el aprendizaje automático (aunque algunos lo harán). También nos sumergiremos en aplicaciones prácticas de aprendizaje automático que puede usar para ser un mejor SEO. No se preocupe, en esos casos, habré hecho la codificación por usted y, en general, proporcionaré un Google Colab fácil de usar para seguir, ayudándolo a responder algunas preguntas importantes de SEO y de negocios.

Por ejemplo, puede usar modelos de aprendizaje automático directo para mejorar su comprensión de sus sitios, contenido, tráfico y más. Mi próximo artículo le mostrará cómo. Teaser: predicción de series de tiempo.

Las opiniones expresadas en este artículo pertenecen al autor invitado y no necesariamente a Search Engine Land. Los autores del personal se enumeran aquí.