Social Media

Así funciona el algoritmo de Facebook para detectar memes ofensivos

Facebook está desplegando un sistema de aprendizaje automático a gran escala -llamado Rosetta- que permite identificar automática y proactivamente “contenidos inapropiados o dañinos” en imágenes de todo tipo.

La lucha contra los contenidos ofensivos en las redes sociales continúa su particular curso, aunque no siempre con la celeridad que los afectados por esta clase de publicaciones (que en algunos casos incluso llevan a situaciones dramáticas, como los suicidios de menores acosados por sus compañeros) desearían. En el caso de Facebook, la solución parece pasar por la incorporación de la inteligencia artificial a esta batalla. 

Esta misma semana, la red social de Mark Zuckerberg ha anunciado el despliegue de un sistema de aprendizaje automático a gran escala -llamado Rosetta- que permite identificar automática y proactivamente “contenidos inapropiados o dañinos” en imágenes de todo tipo. Dicho de otro modo: una inteligencia artificial capaz de determinar si un meme es ofensivo o no. Con 350 millones de fotos subidas a la plataforma cada día, el reto no es nada sencillo.

Diez veces en las que Mark Zuckerberg tuvo que pedir perdón por Facebook

Rosetta funciona en un proceso de dos pasos. En primer lugar, el sistema detecta imágenes que potencialmente podrían contener texto (incluso frases escritas en un escaparate, letreros de la calle o menús de restaurante). Posteriormente, según explica Facebook en su propio blog, el algoritmo reconoce qué dice realmente el texto en la imagen para determinar si se expone algo ofensivo o, por el contrario, es inofensivo por completo.

Este modelo no es solo para el idioma inglés, ya que Facebook dice que admite diferentes idiomas y codificaciones, incluidos el árabe y el hindi, lo que significa que el sistema también podrá leer de derecha a izquierda.

Este algoritmo no es nada nuevo: Rosetta ya está siendo utilizado por los equipos de Facebook e Instagram para mejorar la calidad de la búsqueda de fotos, mejorar la precisión de las fotos en los feeds de noticias y para identificar potenciales discursos de odio.

Sobre el autor de este artículo

Alberto Iglesias Fraga

Periodista especializado en tecnología e innovación que ha dejado su impronta en medios como TICbeat, La Razón, El Mundo, ComputerWorld, CIO España, Business Insider, Kelisto, Todrone, Movilonia, iPhonizate o el blog Think Big, entre otros. También ha sido consultor de comunicación en Indie PR. Ganador del XVI Premio Accenture de Periodismo, ganador del Premio Día de Internet 2018 a mejor marca personal en RRSS y finalista en los European Digital Mindset Awards 2016, 2017 y 2018.