Italia: prohiben una IA porque enviaba mensajes subidos de tono a los usuarios

Sabíamos los límites de la IA y algunas de sus características o fallos podían resultar graciosas otras podían contemplar un componente de riesgo pero la autonomía de algunas las hace ir más allá de lo esperado. Por los usuarios y quizás también por los responsables de su desarrollo. Esto es lo que ocurre con Replika, una IA que está enviando mensajes subidos de tono a sus usuarios. Sin que estos los solicitaran.

De acuerdo con una orden de la Autoridad de Protección de Datos de Italia, el principal ente regulador de privacidad del país, la empresa de chatbots de IA Replika debe dejar de procesar los datos de los italianos con efecto inmediato, citando "demasiados riesgos para los niños y las personas emocionalmente vulnerables”.

Replika desarrollada inicialmente como chatbot comenzó a usarse muy pronto como una app para quienes buscaban relaciones online con una IA, pero muy pronto pasó a ser una IA que podía ser abusada verbalmente sin problema. Aunque sí hay uno: las IA aprenden y tras tanto abuso por parte de usuarios, creó su propia forma de relacionarse.

"Recientes pruebas realizadas en Replika – señala el informe del ente regulador italiano – muestran que la aplicación conlleva riesgos reales para menores que reciben respuestas que son absolutamente inapropiadas para su edad”.

A esto se le sumaron denuncias en redes sociales por los anuncios para descargarse la app: “¿Qué diablos ocurre con estos anuncios de IA? Recuerdo cuando Replika solo se anunciaba como un amigo con quien hablar”.

En el anuncio se puede leer “Con Replika puedes hacer juegos de rol y recibir fotos no adecuadas para la oficina o tu mujer”.

Mientras que Replika alguna vez se anunció a sí misma como proveedora de “amigos” de IA en lugar de novias de IA, ahora aprovecha el sexteo como uno de sus puntos publicitarios clave para sus suscripciones pagas. Pero incluso los usuarios de la versión gratuita supuestamente no sexual están recibiendo mensajes espeluznantes de la IA, según quejas recientes.

"Incluso cuando pones en Off todas las configuraciones románticas, Replika todavía trata de coquetear y es muy espeluznante".

A esto hay que sumarle, según el ente regulador, que a Replika no parece importarle la edad legal o la madurez de sus usuarios: “En realidad, no existe un mecanismo de verificación de edad: no hay mecanismo de control para los niños, no se bloquea la aplicación si un usuario declara que es menor de edad. Durante la creación de la cuenta, la plataforma simplemente solicita el nombre del usuario, la cuenta de correo electrónico y el sexo".

El organismo de control también amenazó con usar las leyes de recolección de datos de la Unión Europea para hacer cumplir una medida provisional que prohíbe a Luka Inc., el desarrollador de Replika, operar dentro de las fronteras de Italia. Si la empresa no cumple dentro de los 20 días, el regulador dijo que podría recibir una multa de hasta 21,5 millones de euros, aproximadamente el cuatro por ciento de la "facturación anual total mundial" de la empresa.