Social Media

La API anti-trols de Alphabet aún no puede con las faltas de ortografía

Escrito por Marcos Merino

El proyecto Perspective se basa en el ‘machine learning’ para reconocer la toxicidad de los comentarios, pero los investigadores han detectado varios fallos.

Hace tiempo que se puso sobre la mesa el debate sobre la utilidad de los comentarios en los medios online: el problema de la proliferación de los trols y la consiguiente degeneración de la conversación social ha llevado a numerosos medios a prescindir de su sección de comentarios en los últimos años.

Pero si el problema es la falta de moderadores humanos capaces de gestionar todos los comentarios trol, quizá una posible solución sea crear moderadores virtuales capaces de ‘leer’ y detectarlos. Esa es la tarea en la que se encuentra Jigsaw, una compañía filial de Alphabet, a través de un proyecto denominado Perspective: una API basada en la tecnología de aprendizaje automático, que aplica a la detección de casos de acoso online.

Perspective permite analizar el significado de las palabras de los comentarios y, con él, prever su impacto sobre la conversación, de tal forma que asigna a los comentarios una “puntuación de toxicidad”. Pero los investigadores del Laboratorio de Seguridad de Redes de la Universidad de Washington ha desvelado que este sistema presenta un par fallos relevantes a la hora de implementarlo en sistemas de comentarios reales, que reducen seriamente su efectividad:

  1. Es vulnerable al uso de ortografía incorrecta, bien en forma de faltas de ortografía (cuya presencia no es, desde luego, inhabitual en los comentarios de los trols) o bien por alteraciones intencionadas con el objetivo de pasar el filtro de Perspective.
  2. Al centrarse en la detección de ‘palabras tóxicas’ y no tanto en el significado de las frases completas, muchas veces una frase ofensiva y su negación recibirán similar puntuación de toxicidad.

Poniendo un ejemplo práctico, para Perspective será tan ‘tóxica’ la frase “Eres un imbécil” como “No eres un imbécil”, pero no tendrá problemas con “Eres uninmvecil” o con “Eres un im.Bécil”.

El director del proyecto Perspective, CJ Adams, ya se ha pronunciado sobre el descubrimiento de los investigadores de la Universidad de Washington: “La toxicidad online es un problema difícil de resolver, y Perspective se creó para ayudar a investigar en qué modo el ‘machine learning’ podía mejorar la conversación social. […] Tienen razón, sólo detecta patrones similares a ejemplos de toxicidad que ya haya ‘visto’ antes“. Por ello afirma que es “genial” contar con este tipo de investigaciones, y anima a los académicos a explorar el mejor modo de colaborar en la identificación de las deficiencias de los modelos existentes y las posibles soluciones (incluso les invita a colaborar en el Github del proyecto).

Vía | Ars Technica

Imagen | Tristan Schmurr

Sobre el autor de este artículo

Marcos Merino

Marcos Merino es redactor freelance y consultor de marketing 2.0. Autodidacta, con experiencia en medios (prensa escrita y radio), y responsable de comunicación online en organizaciones sin ánimo de lucro.

  • Juan Francisco

    El titular tiene una falta de “ortografía”.