Google tiene una inteligencia artificial capaz de entender el sentido del humor

En los últimos años, las grandes redes neuronales entrenadas para la comprensión y generación del lenguaje han producido modelos de lenguaje (LLMs o “Large Language Models”) como GPT-3, Gopher o GLaM, entre otros, con resultados que parecían imposibles hace no demasiado.  En esta línea, Google Research anunció el año pasado Pathways (PaLM, por sus siglas en inglés), un modelo de lenguaje capaz de manejar 540.000 millones de parámetros y desarrollado con el sistema Pathways de Google que permite entrenar de forma eficiente una IA en múltiples TPUs o unidades de procesamiento de tensor. Estos son los chips diseñados a medida por Google para el aprendizaje automático y que la compañía emplea en productos como Traductor, Fotos, su buscador, el asistente o Gmail. Para Pathways se ha empleado la mayor configuración de TPUs hasta la fecha con 6.144 chips, lo que supone un incremento significativo sobre los 4.096 TPUs usados por Gopher, el que más se le acerca.

En un artículo publicado en el blog de Google, los ingenieros de “software” Sharan Narang and Aakanksha Chowdhery han dado cuenta de los resultados obtenidos con este sistema. PaLM ha sido entrenado con una combinación de datos en inglés y otras lenguas que provienen de fuentes como la Wikipedia, libros, conversaciones, documentos web y código de GitHub. De acuerdo con los ingenieros, esta combinación de “hardware” y “software” permite a PaLM capacidades innovadoras en tareas de lenguaje, razonamiento y código. Por ejemplo, el modelo puede distinguir causa y efecto, comprender combinaciones conceptuales en contextos apropiados e incluso adivinar la película a partir de un emoji.

En un conjunto de pruebas matemáticas para niños de entre 9 y 12 años, supera a GPT-3 obteniendo un 58% de resolución de problemas frente al 55% de aquella. Lo que le sitúa muy cerca de la media del 60% que consiguen los niños en esa franja de edad. La comparación con niños puede parecer un poco desfavorecedora, pero es desde luego un hito si tenemos en cuenta que estamos hablando de una máquina.

También se muestra solvente en tareas de codificación incluyendo la traducción de código de un idioma a otro y corrigiendo errores de compilación, a pesar de que el conjunto de datos con el que se entrena solo contiene un 5% de código.

Pero lo más sorprendente es que PaLM puede explicar el sentido de chistes que encuentra por primera vez gracias a su capacidad para “generar explicaciones explícitas para escenarios que requieren una combinación compleja de inferencia lógica de varios pasos, conocimiento del mundo y comprensión profunda del lenguaje”. Eso sí, los chistes que Google emplea como ejemplo son un poco “nerd”, tal y como se ve en la captura siguiente.

Para Google Researh, los resultados de PaLM demuestran como la capacidad de escalado del sistema Pathways de Google, entrenando un modelo de lenguaje de 540.000 millones de parámetros usando miles de chips aceleradores (TPUs), permite un rendimiento revolucionario en una variedad de tareas de código, razonamiento y procesamiento del lenguaje natural.