«Cazainsultos»: Algoritmos para frenar los comentarios ofensivos en las redes

La política de «cuantos más, mejor» lleva a las empresas a no frenar estos abusos, pero sí hay fórmulas para acabar con ellos. Fraudar detecta cuentas falsas y Jigsaw tiene un sistema que identifica estas conductas y rastrea su origen

En 2014, un estudio del Pew Research Center señalaba que el 73% de los usuarios de la red habían sido testigos de que alguien había sido acosado o insultado y un 40% lo había experimentado en su propia piel. Poco más de un año después, la embajadora de las Naciones Unidas, Tara Moss, señalaba que el 76% de las mujeres en la red han sufrido acoso o insultos de algún tipo. Se trata de cientos de millones de personas, pero el FBI, a pesar de ser considerado un delito federal, solo ha investigado el 10% de esos casos. Es imposible estudiarlos todos. En España las cifras son similares.

Y luego están los trolls. En poco más de una década (Facebook vio la luz en 2004), estos personajes se han hecho con el control de la red y muchos reconocen que no saben cómo controlarlos. Se trata de personajes para los que un error, una diferencia de opinión o una desgracia son como una lluvia para las setas: los multiplican y aparecen por todas partes escribiendo barbaridades que antes rara vez se escuchaban siquiera en círculos privados. Como muestra no hay más que ver el calibre de los comentarios relacionados con la muerte de Bimba Bosé que algunos usuarios de Twitter han vertido.

De hecho, esta plataforma, según una encuesta realizada por la web Kick Out, señala que en dicha red social se vierten el 88% de los insultos y acosos de la red, ya sea comentarios con claro contenido sexual, de género o racista. Por ello no es extraño que año y medio atrás, Dick Costolo, CEO de Twitter en aquellos tiempos, haya salido a la palestra diciendo, textualmente, que «apestaban a la hora de tratar con el abuso». Y la realidad desde entonces no ha cambiado mucho. Ni para Twitter, Facebook o YouTube.

En esta última plataforma, el caso más sonado es el de ReSeT, un youtuber con más de un millón de suscriptores que basa su canal en aceptar desafíos y llevarlos a cabo. El último de sus «logros» fue uno en el que le daba de comer unas galletas rellenas de pasta dentífrica a una persona sin hogar. El vídeo, que ReSet ya ha borrado pero puede verse en otros canales, alcanzó cientos de miles de visitas y pese a haber pedido disculpas, el desafío de este «youtuber» forma parte de una larga retahíla de vídeos en los que, por ejemplo, se podía ver cómo le tiraba huevos a sus gatos o les aplicaba una raqueta con corriente eléctrica para ver su reacción.

¿Qué está pasando en las redes sociales para que esto se permita? El análisis señala a dos culpables claros: los usuarios y las plataformas.

En relación con los primeros quizás baste un botón como muestra. Cuando Donald Trump comenzó su campaña, en un discurso público, fue consultado por una joven, Laura Batchelder, quien le dijo que no creía que tratase a las mujeres con respeto y le consultó si ella cobraría lo que un hombre por realizar el mismo trabajo. Dado que el discurso se transmitió por televisión, todos pudieron ver la cara de Batchelder. Al día siguiente, Trump publicó un tweet asegurando que la joven era una arrogante y formaba parte del equipo de uno de sus rivales políticos. Entre likes y retweets, el comentario llegó a más de 6.000.

No todos son anónimos

A partir de ese momento y durante casi un año, la joven sufrió una campaña constante de acoso durante la cual tuvo que leer comentarios de gente que sabía dónde vivía y que irían allí a pegarle y orinarse en su cara. Al contrario de lo que se puede pensar, no todos los insultos provenían de cuentas anónimas con menos de una decena de seguidores. Uno de ellos, por ejemplo, era de la cuenta Iowa Women For Trump, que cuenta con más de 4.600 seguidores y que a día de hoy sigue activa. La Universidad de Carnegie Mellon ha creado un algoritmo llamado Fraudar que, tras examinar casi 42 millones de cuentas y 1.470 millones de seguidores de las mismas, descubrió que poco más de 4.000 cuentas eran falsas, lo que representa apenas un 0,01% del total.

Basta que una figura pública haga un comentario, para que sus seguidores o detractores se enzarcen en una batalla sin temer las consecuencias ni dimensionar el tono de lo que se escribe.

Y entonces llega la responsabilidad de las empresas, justamente porque rara vez hay consecuencias para este tipo de actos. Las plataformas han intentado algunas medidas al respecto, pero eso requiere cambiar la política de «cuántos más, mejor», que era lo que les daba ganancias hasta ahora a una de «cuánto más seguros, mejor», que es lo que muchos están comenzado a reclamar. Unos años atrás, Facebook intentó llevar a cabo una política de «nombre real» para que los usuarios pusieran su verdadero nombre. Pero no tuvo éxito y fue muy criticada. Ahora la Crown Prosecution Service (la fiscalía del Reino Unido) ha elevado una propuesta para que quienes utilicen un perfil con nombre falso en la red para insultar o acosar, sean perseguidos. Para ello, Facebook debe comenzar a utilizar un algoritmo, similar al que utiliza para detectar imágenes con desnudez, basado en ciertas palabras y contextos. El sistema sería capaz de distinguir entre un insulto relacionado al trabajo («Hoy he tenido un día de m&@*») a otro dirigido directamente a una persona con la que nunca ha interactuado. Este algoritmo ya existe y ha sido desarrollado por Jigsaw, una filial de Alphabet. Está basado en aprendizaje profundo (deep learning), un sistema que imita las redes neuronales del cerebro por medio de la inteligencia artificial y que ha sido clave para las herramientas de traducción de Google, al poder (o intentar) analizar un contexto. Jigsaw se ha «graduado» estudiando millones de comentarios en la web del «New York Times» y en Wikipedia para reconocer insultos y acoso. Es esta variedad lo que le enseña a detectar el contexto de un mensaje y, aunque no es aún 100% eficiente, en breve permitirá que los moderadores de comentarios del «New York Times» puedan revisar todos sus artículos y no sólo una décima parte como ocurre ahora.

Esa herramienta sería sumamente útil tanto para Twitter como para Facebook y hasta para YouTube, que por ahora se ocupa más de no infringir las normas que de cuidar que nadie las viole usándola como medio. Cada vez que subimos un vídeo, en el tiempo que éste tarda en publicarse, se controla que no se violen derechos de autor y que no haya imágenes de desnudez, pero rara vez se controla el lenguaje o a quién va dirigido. Y ése no es el mayor problema. Las emisiones en directo que muchas redes sociales han comenzado a realizar impiden que se pueda ejercer ningún control sobre lo que se diga o se haga. Hace unos días, Nakia Venant, una joven de 14 años, y el actor Frederick Jay Bowdy, de 33, se suicidaron mostrándolo en directo. Y, excepto llamar a las autoridades o bloquear la emisión, poco más se puede hacer. Quienes más han avanzado en esta política han sido los responsables de seguridad de Instagram al dar a los usuarios no sólo el poder para denunciar, sino también para bloquear e impedir la publicación de comentarios ofensivos. Los más de 500 millones de usuarios de esta red pueden censurar comentarios que incluyan aquellas palabras, frases, números, «hashtags» y hasta emoticonos que seleccionen como inadecuados y no aparecerán en sus fotos. Obviamente, el usuario puede borrar los comentarios que no le gusten y bloquear cuentas.

Así pues, el gran enemigo de los «trolls» y los ciberacosadores será en breve el mencionado Jigsaw. De acuerdo con uno de sus programadores, David Auerbach, «las bandas de ‘‘trolls’’, que comienzan a surgir en masa de un momento a otro para atacar a una persona, están compuestas habitualmente por un solo individuo que lanza bots que imitan el comportamiento de un programa determinado. Jigsaw está aprendiendo a identificar estas conductas y a rastrear su origen». Quizás así lo arranquen de raíz.

¿Pagarías por no ver a un «troll»?

Enfrentarse a un «troll» es perder siempre, sea porque nos gana en la batalla dialéctica o porque perdemos la compostura nosotros. Si se trata de pullas que no van más allá de picar a alguien por algo político o deportivo, lo mejor es ignorarlo y dejar que se canse solo. Ahora, si es algo más personal, el primer paso es realizar una captura de pantalla del comentario, reportarlo a la red social correspondiente y bloquear a ese usuario para que no pueda citar nuestro nombre de perfil. Aunque podrá seguir haciéndolo, lógicamente, mencionando el nombre real. Aquí, nuevamente captura de pantalla y denuncia, pero ya no a la plataforma, sino a la Justicia. El problema es que el comportamiento se puede repetir, ya que los «trolls» crean diferentes cuentas. El debate es si deberían ser las plataformas las que brinden a los usuarios las garantías de seguridad, al igual que hacen otras industrias, o no deberían tomar cartas en el asunto, teniendo en cuenta que ofrecen un servicio por el que no pagamos. ¿Y si se pudiera pagar por aumentar la seguridad? Si los «trolls» o acosadores supieran que pueden ser identificados rápidamente... ¿Cambiaría el sistema? La tecnología está cada vez más preparada para enfrentarse a estos personajes. Quizás sea hora de que la educación tecnológica vaya de la mano.