Facebook tiene herramienta de prevención de suicidio, pero no dice como funciona

Para muchas personas que han dedicado sus vidas a prevenir el suicidio, las publicaciones en las redes sociales pueden ser un valioso conjunto de datos que contienen pistas sobre lo que las personas dicen y hacen antes de intentar el suicidio.

En los últimos años, los investigadores han desarrollado algoritmos para aprender qué palabras y emojis se asocian con pensamientos suicidas. Incluso han utilizado publicaciones en las redes sociales para predecir de forma retrospectiva las muertes por suicidio de ciertos usuarios de Facebook.

Ahora Facebook ha lanzado una nueva inteligencia artificial que puede identificar de forma proactiva el aumento del riesgo de suicidio y alertar a un equipo de revisores humanos que están entrenados para llegar a un usuario que contempla una autolesión fatal.

La tecnología, anunciada el lunes, representa una oportunidad sin precedentes para comprender y predecir el riesgo de suicidio. Antes de que la herramienta de inteligencia artificial fuera incluso anunciada públicamente, Facebook la usó para ayudar a enviar primeros respondedores en 100 “controles de bienestar” para garantizar la seguridad del usuario. El potencial de la herramienta para salvar vidas es enorme, pero la compañía no compartirá muchos detalles sobre cómo funciona o si compartirá ampliamente sus hallazgos con académicos e investigadores.

Munmun De Choudhury, profesor asistente en la Escuela de Computación Interactiva de Georgia Tech, felicita a la compañía de medios sociales por enfocarse en la prevención del suicidio, pero le gustaría que Facebook sea más transparente con respecto a sus algoritmos.

“Esta no es solo otra herramienta de IA, aborda un tema realmente delicado”, dijo. “Es una cuestión de vida o muerte de alguien”.

“Esta no es solo otra herramienta de IA, aborda un tema realmente delicado. Es una cuestión de vida o muerte de alguien”.

Facebook entiende lo que está en juego, y es por eso que su vicepresidente de gestión de productos, Guy Rosen, enfatizó en una entrevista cómo la IA acelera significativamente el proceso de identificar a los usuarios angustiados y obtener recursos o ayuda.

Pero se negó a hablar en profundidad sobre los factores del algoritmo más allá de algunos ejemplos generales, como comentarios preocupados de amigos y familiares, la hora del día y el texto en la publicación de un usuario. Rosen también dijo que la compañía, que tiene asociaciones con organizaciones de prevención del suicidio, quiere aprender de los investigadores, pero que no discutiría cómo o si Facebook podría publicar o compartir ideas sobre su uso de la inteligencia artificial.

Si bien la transparencia podría no ser la fortaleza de Facebook, en un campo como la prevención del suicidio podría ayudar a otros expertos a salvar más vidas al revelar comportamientos o patrones de lenguaje que surgen antes del pensamiento suicida o un intento de suicidio. Con más de 2 mil millones de usuarios, Facebook podría decirse que tiene la base de datos más grande de dicho contenido en el mundo.

De Choudhury dice que la transparencia es vital cuando se trata de inteligencia artificial porque la transparencia infunde confianza, un sentimiento que escasea a medida que las personas se preocupan por el potencial de la tecnología para interrumpir fundamentalmente su vida profesional y personal. Sin confianza suficiente en la herramienta, dice De Choudhury, los usuarios en riesgo pueden decidir no compartir mensajes emocionalmente vulnerables o suicidas.

Cuando los usuarios reciben un mensaje de Facebook, no indica que AI los identificó como de alto riesgo. En cambio, les dicen que “alguien piensa que podría necesitar apoyo adicional en este momento y nos pidió que ayudemos”. Sin embargo, ese alguien es un crítico humano que realizó un seguimiento de la detección de riesgos de IA.

También es actualmente imposible saber cómo la IA determina que alguien está en riesgo inminente, la precisión del algoritmo o cómo comete errores al buscar pistas de pensamientos suicidas. Dado que los usuarios no sabrán que fueron identificados por AI, no tienen forma de decirle a Facebook que los identificó erróneamente como suicidas.

La investigación de De Choudhury implica el análisis de las redes sociales para obtener información sobre el bienestar mental y emocional de las personas, por lo que comprende los desafíos de desarrollar un algoritmo efectivo y decidir qué datos publicar.

Reconoce que Facebook debe alcanzar un delicado equilibrio. Compartir ciertos aspectos de sus hallazgos, por ejemplo, podría llevar a los usuarios a simplificar en exceso el riesgo de suicidio centrándose en palabras clave u otras señales de angustia. Y potencialmente podría dar a las personas con malas intenciones puntos de datos que podrían usar para analizar publicaciones en redes sociales, identificar a aquellos con problemas de salud mental percibidos y apuntarlos a hostigamiento o discriminación.

“Creo que compartir cómo funciona el algoritmo, incluso si no revelan todos los detalles insoportables, sería realmente beneficioso”.

Nov, 29-2017