Google y Jigsaw lanzan Perspective, una tecnología que identifica comentarios tóxicos en las noticias

Google y Jigsaw lanzan Perspective, una tecnología que identifica comentarios tóxicos en las noticias

Google y Jigsaw presentan Perspective, una tecnología que se encuentra en su primera etapa de desarrollo y que utiliza el Machine Learning para ayudar a identificar comentarios negativos y tóxicos en las noticias. Accediendo a la API de Perspective, los editores y las plataformas podrán comprobar la utilidad de esta tecnología en sus sitios web y fomentar más conversaciones inclusivas.

Cuando los ordenadores aprenden a decir palabrotas: uso del Machine Learning para tener mejores conversaciones.

Google y Jigsaw lanzan Perspective, una tecnología que identifica comentarios tóxicos en las noticias

Imagina que intentas tener una conversación con tus amigos sobre las noticias que has leído esta mañana pero, cada vez que dices algo, alguien te grita en la cara o te dice un insulto o te acusa de algo que no has hecho. Probablemente abandonarías la conversación. Desafortunadamente esto pasa con demasiada frecuencia en el mundo online, ya que la gente trata de discutir ideas en las páginas web de noticias que les gustan, pero en lugar de eso terminar bombardeándose con comentarios tóxico.

Un 72% de los usuarios de Internet en EE.UU ha sido testigo de acosos en la Red y casi la mitad los ha sufrido directamente en algún momento. Asimismo, casi un tercio de los usuarios se autocensura cuando envía mensajes en redes sociales, por miedo a ser objeto de represalias. De acuerdo con el mismo estudio, el acoso online ha afectado a más de 140 millones de personas en EEUU y muchas otras, en el resto del mundo.

Este problema no impacta solo a los lectores. Las organizaciones de noticias quieren que se genere una buena conversación y discusión alrededor del contenido publicado pero intentar acabar con los trolls o contenido abusivo les quita mucho dinero, tiempo y trabajo. Como resultado, deciden en ocasiones cerrar los comentarios por completo pero nos comentan que no es la solución que desean y nosotros creemos que la tecnología puede ayudarles.

Hoy, Google y Jigsaw están dando un primer paso con Perspective, una tecnología que se encuentra en su primera etapa de desarrollo y que utiliza el aprendizaje automático para ayudar a identificar comentarios tóxicos. A través de una API, editores (incluyendo los miembros Europeos de la Digital News Initiative) y desarrolladores, pueden acceder a esta tecnología y utilizarla en sus sitios web.

Cómo funciona Perspective para moderar comentarios

Perspective analiza los comentarios y los evalúa basándose en el parecido que tienen con los comentarios que las personas han indicado como “tóxicos” o que, probablemente, pueden hacer que alguien abandone una conversación. Para aprender a detectar un lenguaje potencialmente tóxico, Perspective examina decenas de miles de comentarios etiquetados por personas dedicadas a revisarlos. Cada vez que Perspective encuentra nuevos ejemplos de comentarios tóxicos o recibe correcciones por parte de los usuarios, mejora su capacidad para evaluar los futuros comentarios.

Los editores pueden decidir lo que desean hacer con la información que reciben de Perspective. Por ejemplo, pueden elegir marcar comentarios para que sean revisados por sus propios moderadores y decidir si los incluyen en una conversación. También pueden ofrecer herramientas para ayudar a su comunidad a entender el impacto de lo que escriben permitiendo, por ejemplo, que la persona que está escribiendo vea la toxicidad potencial de sus comentarios justo cuando los está escribiendo. Los editores incluso podrían permitir a los lectores clasificar los comentarios según su toxicidad, facilitándoles la búsqueda de grandes debates escondidos en conversaciones tóxicas.

Hemos probado una versión de esta tecnología con The New York Times, en donde todo un equipo se encarga de examinar cuidadosamente y moderar cada uno de los comentarios, antes de que se publiquen, revisando hasta 11.000 comentarios cada día. Es una cantidad enorme, por lo que el Times solo ofrece la posibilidad de comentar en un 10% de sus artículos. Hemos colaborado con ellos para entrenar una serie de modelos que permitan a los moderadores del Times clasificar los comentarios con mayor rapidez, y esperamos trabajar con el Times para ayudarles a habilitar comentarios en más artículos, cada día.

Hacia dónde nos dirigimos con Perspective

Perspective se une a la biblioteca de código abierto TensorFlow y a la plataforma de Cloud Machine Learning, como uno de los nuevos recursos de machine learning que Google ha puesto a disposición de los desarrolladores. Esta tecnología aún se encuentra en una fase de aprendizaje, pero esto es lo más increíble, que incluso cuando los modelos son complejos, pueden mejora a lo largo del tiempo. Cuando Perspective se encuentre en las manos de los editores, estará expuesto a más comentarios y por lo tanto podrá desarrollar una mejor comprensión sobre lo que convierte a ciertos comentarios en algo realmente tóxico.

Al mismo tiempo que mejoramos la tecnología, también trabajamos para ampliarla. Nuestro modelo ha sido diseñado para detectar el lenguaje tóxico, pero a lo largo de los dos próximos años lanzaremos nuevos modelos que van a funcionar en otros idiomas (además del inglés), así como otros modelos capaces de identificar comentarios etiquetados como ataques personales o que no se ocupan del asunto que se debate.

Perspective proporciona a los editores una herramienta para fomentar más conversaciones inclusivas, pero el objetivo va más allá de la mejora de los comentarios y es ayudar a que las conversaciones online sean, realmente, conversaciones.

Tienes más información en el Blog Oficial de Google España.