En la primavera de 2022, Twitter consideró realizar un cambio radical en la plataforma. Después de años de permitir silenciosamente contenido para adultos en el servicio, la empresa lo monetizaría. La propuesta: brindar a los creadores de contenido para adultos la capacidad de comenzar a vender suscripciones pagas al estilo de OnlyFans, con Twitter manteniendo una parte de los ingresos.

Si se hubiera aprobado el proyecto, Twitter se habría arriesgado a una reacción violenta masiva de los anunciantes, que generan la gran mayoría de los ingresos de la empresa. Pero el servicio podría haber generado más que suficiente para compensar las pérdidas. OnlyFans, el más popular de los sitios de creadores para adultos, proyecta $2.500 millones en ingresos este año, aproximadamente la mitad de los ingresos de Twitter en 2021, y ya es una empresa rentable.

Algunos ejecutivos pensaron que Twitter podría comenzar fácilmente a capturar una parte de ese dinero, ya que el servicio ya es el principal canal de marketing para la mayoría de los creadores de OnlyFans. Y así, los recursos se destinaron a un nuevo proyecto llamado ACM: Monetización de contenido para adultos (Adult Content Monetization).

Sin embargo, antes del visto bueno final para el lanzamiento, Twitter convocó a 84 empleados para formar lo que llamó un “Equipo rojo”. El objetivo era “presionar la decisión de permitir que los creadores adultos moneticen en la plataforma, centrándose específicamente en cómo se vería que Twitter hiciera esto de manera segura y responsable”, según documentos obtenidos por los medios y entrevistas con actuales y ex empleados de Twitter.

Aparentemente, los ejecutivos están bien informados sobre el problema y la empresa está haciendo poco para solucionarlo.

Tweet

Lo que descubrió el Equipo Rojo descarriló el proyecto: Twitter no podía permitir que los creadores adultos vendieran suscripciones de manera segura porque la compañía no estaba, y todavía no está, vigilando de manera efectiva el contenido sexual dañino en la plataforma.

“Twitter no puede detectar con precisión la explotación sexual infantil y la desnudez no consentida a gran escala”, concluyó el Equipo Rojo en abril de 2022. La empresa también carecía de herramientas para verificar que los creadores y consumidores de contenido para adultos fueran mayores de edad, descubrió el equipo. Como resultado, en mayo, semanas después de que Elon Musk acordara comprar la empresa por 44.000 millones de dólares, la empresa retrasó el proyecto indefinidamente. Si Twitter no pudiera eliminar constantemente el contenido de explotación sexual infantil en la plataforma hoy, ¿cómo comenzaría a monetizar la pornografía?

Lanzar ACM empeoraría el problema, descubrió el equipo. Permitir que los creadores comiencen a poner su contenido detrás de un muro de pago significaría que incluso más material ilegal llegaría a Twitter, y una mayor parte se perdería de vista. Twitter tenía pocas herramientas efectivas disponibles para encontrarlo.

Tomando en serio el informe del Equipo Rojo, el liderazgo decidió que no lanzaría la monetización de contenido para adultos hasta que Twitter implementara más medidas de salud y seguridad.

Twitter no ha comprometido suficientes recursos para detectar, eliminar y prevenir contenido dañino de la plataforma.

Tweet

El informe del Equipo Rojo “fue parte de una discusión, que finalmente nos llevó a pausar el flujo de trabajo por las razones correctas”, dijo la portavoz de Twitter, Katie Rosborough.

Pero eso hizo poco para cambiar el problema en cuestión, uno sobre el que los empleados de toda la empresa han estado advirtiendo durante más de un año. Según entrevistas con empleados actuales y anteriores, así como 58 páginas de documentos internos obtenidos por los medios, Twitter todavía tiene un problema con el contenido que explota sexualmente a los niños. Aparentemente, los ejecutivos están bien informados sobre el problema y la empresa está haciendo poco para solucionarlo.

“Twitter tiene tolerancia cero para la explotación sexual infantil”, dijo Rosborough de Twitter. “Luchamos agresivamente contra el abuso sexual infantil en línea y hemos invertido significativamente en tecnología y herramientas para hacer cumplir nuestra política. Nuestros equipos dedicados trabajan para adelantarse a los actores de mala fe y ayudar a garantizar que protejamos a los menores de todo daño, tanto en línea como fuera de línea”.

Si bien el trabajo del Equipo Rojo logró retrasar el proyecto de monetización de contenido para adultos, nada de lo que descubrió el equipo debería haber sido una sorpresa para los ejecutivos de Twitter. Quince meses antes, los investigadores que trabajaban en el equipo encargado de hacer que Twitter fuera más civilizado y seguro dieron la voz de alarma sobre el débil estado de las herramientas de Twitter para detectar la explotación sexual infantil (CSE) e imploraron a los ejecutivos que agregaran más recursos para solucionarlo.

El sistema en el que Twitter se basó en gran medida para descubrir CSE había comenzado a fallar

Tweet

“Si bien la cantidad de CSE en línea ha crecido exponencialmente, la inversión de Twitter en tecnologías para detectar y gestionar el crecimiento no lo ha hecho”, comienza un informe de febrero de 2021 del equipo de Salud de la empresa. “Los equipos están administrando la carga de trabajo utilizando herramientas heredadas con ventanas rotas conocidas. En resumen (y se describe detalladamente a continuación), [los moderadores de contenido] mantienen el barco a flote con un apoyo limitado o nulo de Health”.

Los empleados con los que hablamos reiteraron que, a pesar de que los ejecutivos conocen los problemas de CSE de la empresa, Twitter no ha comprometido suficientes recursos para detectar, eliminar y prevenir contenido dañino de la plataforma.

Parte del problema es la escala. Todas las plataformas luchan por administrar los materiales ilegales que los usuarios suben al sitio y, en ese sentido, Twitter no es diferente. La plataforma, un medio crítico para la comunicación global con 229 millones de usuarios diarios, tiene los desafíos de moderación de contenido que conlleva operar cualquier espacio grande en Internet y la lucha adicional del escrutinio desmesurado de los políticos y los medios.

Pero a diferencia de sus pares más grandes, incluidos Google y Facebook, Twitter ha sufrido una historia de mala administración y un negocio generalmente débil que no ha logrado generar ganancias durante ocho de los últimos 10 años. Como resultado, la empresa ha invertido mucho menos en moderación de contenido y seguridad del usuario que sus rivales. En 2019, Mark Zuckerberg se jactó de que la cantidad que Facebook gasta en funciones de seguridad supera los ingresos anuales totales de Twitter.

Mientras tanto, el sistema en el que Twitter se basó en gran medida para descubrir CSE había comenzado a fallar.

Durante años, las plataformas tecnológicas han colaborado para encontrar material CSE conocido comparando imágenes con una base de datos ampliamente implementada llamada PhotoDNA. Microsoft creó el servicio en 2009 y, aunque es preciso para identificar CSE, PhotoDNA solo puede marcar imágenes conocidas. Por ley, las plataformas que buscan CSE deben informar lo que encuentran al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), una organización sin fines de lucro financiada por el gobierno que rastrea el problema y comparte información con las fuerzas del orden. Un análisis del NCMEC citado por el grupo de trabajo de Twitter encontró que del millón de informes enviados cada mes, el 84 por ciento contiene CSE recién descubierto, ninguno de los cuales sería marcado por PhotoDNA. En la práctica, esto significa que es probable que Twitter no detecte una cantidad significativa de contenido ilegal en la plataforma.

Twitter no pudo eliminar los videos, “permitiendo que cientos de miles de usuarios de la plataforma los vean“.

Tweet

El informe de 2021 encontró que los procesos que usa Twitter para identificar y eliminar CSE son lamentablemente inadecuados, en gran medida manuales en un momento en que las empresas más grandes recurren cada vez más a sistemas automatizados que pueden capturar material que no está marcado por PhotoDNA. El principal software de cumplimiento de Twitter es “una herramienta heredada y sin soporte” llamada RedPanda, según el informe. “RedPanda es, con mucho, una de las herramientas más frágiles, ineficientes y con menos soporte que ofrecemos”, dijo un ingeniero citado en el informe.

Twitter ideó un sistema manual para enviar informes al NCMEC. Pero el informe de febrero encontró que debido a que requiere mucha mano de obra, esto creó una acumulación de casos para revisar, lo que retrasó la denuncia de muchos casos de CSE a las fuerzas del orden.

Las herramientas de aprendizaje automático que tiene Twitter son en su mayoría incapaces de identificar nuevas instancias de CSE en tweets o videos en vivo, encontró el informe. Hasta febrero de 2022, los usuarios no tenían forma de marcar el contenido como algo más específico que “medios confidenciales“, una categoría amplia que significaba que parte del peor material en la plataforma a menudo no se priorizaba para moderación. En un caso, un video ilegal estuvo visible en la plataforma durante más de 23 horas, incluso después de haber sido ampliamente denunciado como abusivo.

“Estas brechas también ponen a Twitter en riesgo legal y de reputación”, escribió el grupo de trabajo de Twitter en su informe.

Rosborough dijo que desde febrero de 2021, la empresa ha aumentado significativamente su inversión en detección de CSE. Señaló que actualmente tiene cuatro puestos vacantes para roles de seguridad infantil en un momento en que Twitter ha disminuido su ritmo de contratación.

A principios de este año, el NCMEC acusó a Twitter de dejar videos que contenían material de abuso sexual infantil “obvio” y “gráfico” en un escrito ambiguo presentado al noveno circuito en John Doe #1 et al. v. Twitter. “Los niños informaron a la empresa que eran menores de edad, que habían sido ‘cebados, acosados ​​y amenazados’ para hacer los videos, que eran víctimas de ‘abuso sexual’ bajo investigación por parte de la policía”, decía el escrito. Sin embargo, Twitter no pudo eliminar los videos, “lo que permitió que cientos de miles de usuarios de la plataforma los vieran“.

Esto se hizo eco de una preocupación de los propios empleados de Twitter, quienes escribieron en un informe de febrero que la compañía, junto con otras plataformas tecnológicas, ha “acelerado el ritmo de creación y distribución de contenido de CSE hasta un punto de ruptura donde la detección manual, la revisión y las investigaciones ya no escala” al permitir contenido para adultos y no invertir en sistemas que pudieran monitorearlo de manera efectiva.

La lucha de años para abordar la CSE se topó con una prioridad en competencia en Twitter: aumentar considerablemente sus números de usuarios e ingresos.

Tweet

Para abordar el problema, el grupo de trabajo llamó a los ejecutivos de Twitter a trabajar en una serie de proyectos. El grupo recomendó que la empresa finalmente construya una herramienta única para procesar informes de CSE, recopilar y analizar datos relacionados y enviar informes al NCMEC. Debe crear huellas dactilares únicas (llamadas hashes) del CSE que encuentre y compartir esas huellas dactilares con otras plataformas tecnológicas. Y debería crear funciones para proteger la salud mental de los moderadores de contenido, la mayoría de los cuales trabajan para proveedores externos, al difuminar los rostros de las víctimas de abuso o desaturar las imágenes.

Pero incluso en 2021, antes de que comenzara la tumultuosa adquisición de la empresa por parte de Musk, el grupo de trabajo reconoció que reunir los recursos necesarios sería un desafío.

“La tarea de ‘arreglar’ las herramientas de CSE es desalentadora”, escribieron. “La estrategia [del equipo de Salud] debe ser eliminar estas necesidades con el tiempo, comenzando con las características de mayor prioridad para evitar la trampa de demasiado grande para priorizar”.

El proyecto puede haber sido demasiado grande para priorizar después de todo. Aparte de habilitar los informes de CSE en la aplicación, parece haber habido poco progreso en las otras recomendaciones del grupo. Uno de los equipos de investigación que más se había pronunciado sobre la reparación de los sistemas de detección de CSE de Twitter se disolvió. (Rosborough de Twitter dice que el equipo ha sido “reenfocado para reflejar su propósito principal de seguridad infantil” y se le han agregado ingenieros dedicados). Los empleados dicen que los ejecutivos de Twitter conocen el problema, pero la compañía ha fallado repetidamente en actuar.

La lucha de años para abordar la CSE se topó con una prioridad en competencia en Twitter: aumentar considerablemente sus números de usuarios e ingresos. En 2020, el inversionista activista Elliott Management tomó una posición importante en Twitter en un esfuerzo por expulsar al entonces director ejecutivo Jack Dorsey. Sobrevivió al intento, pero para permanecer como CEO, Dorsey hizo tres promesas difíciles de cumplir: que Twitter aumentaría su base de usuarios en 100 millones de personas, aceleraría el crecimiento de los ingresos y ganaría participación de mercado en publicidad digital.

Dorsey renunció como director ejecutivo en noviembre de 2021, después de haber progresado poco para alcanzar esos hitos. Quedó en manos de su sucesor elegido a dedo, el exdirector de tecnología Parag Agrawal, cumplir con las demandas de Elliott.

Bajo la dirección de su anterior jefe de producto, Kayvon Beykpour, Twitter había pasado los últimos años agregando productos para los creadores. El verano pasado, comenzó a implementar “Espacios con boleto“, lo que permite a los usuarios cobrar por el acceso a su producto de audio en vivo similar a Clubhouse. La compañía agregó “Super Follows“, una forma para que los usuarios ofrezcan suscripciones para contenido no sexualmente explícito, en septiembre pasado. En ambos casos, la empresa se queda con un porcentaje de los ingresos del usuario, lo que le permite ganar dinero fuera de su negocio publicitario principal.

“El contenido para adultos fue un gran diferenciador para Twitter, y para quienes [trabajaban] en los ingresos, era un recurso sin explotar”.

Tweet

Mientras todo eso se desarrollaba, Twitter se había convertido en un destino importante para otro tipo de contenido: la pornografía. En los casi cuatro años desde que Tumblr prohibió el contenido para adultos, Twitter se había convertido en uno de los únicos sitios principales que permite a los usuarios subir fotos y videos sexualmente explícitos. También atrajo a un número significativo de artistas que usan Twitter para comercializar y hacer crecer sus negocios, usando fotos y videoclips cortos como anuncios de servicios de pago como OnlyFans.

“El contenido para adultos fue un gran diferenciador para Twitter, y para quienes [trabajaban] en los ingresos, era un recurso sin explotar”, dice un ex empleado.

Twitter es tan importante para el mundo del porno que los temores de que la compañía finalmente ceda ante las presiones externas y lo cierre, han perturbado ocasionalmente al mundo de los creadores para adultos. De hecho, sin embargo, para esta primavera, la compañía estaba considerando un movimiento que haría que la pornografía fuera aún más importante para la plataforma, al colocarla en el centro de un nuevo plan de ingresos.

Twitter ya tenía Super Follows para contenido no explícito, luego pensó, ¿por qué no agregar también la función para creadores de contenido para adultos? El momento se sintió bien, especialmente después de que OnlyFans alienó a los usuarios al decir el año pasado que prohibiría el contenido para adultos, solo para revertir su postura unos días después.

Los ejecutivos rara vez hablan de su popularidad como destino de contenido para adultos. Pero en los últimos dos años, la compañía se tomó muy en serio el contenido para adultos y comenzó a explorar activamente un servicio similar a OnlyFans para sus usuarios.

Para esta primavera, la compañía se acercaba a una decisión final. El 21 y 22 de abril, Twitter convocó a otro Equipo Rojo, esta vez para un proyecto llamado Monetización de creadores adultos, o ACM.

Twitter tendría varias fortalezas si decidiera competir con OnlyFans, descubrió el Equipo Rojo. Los creadores adultos tienen una actitud generalmente favorable hacia la empresa, gracias a lo fácil que les resulta Twitter para distribuir su contenido. El proyecto también fue “consistente con los principios de Twitter en cuanto a la libertad de expresión”, dijeron. Finalmente, la compañía planeaba obtener una licencia de transmisor de dinero para poder manejar los pagos legalmente.

Dado el tamaño de la oportunidad, el Equipo Rojo escribió: “ACM puede ayudar a financiar mejoras de ingeniería de infraestructura para el resto de la plataforma“.

Pero el equipo también encontró varios riesgos clave. “Podemos perder ingresos significativos de nuestros principales anunciantes”, escribió el equipo. Especuló que también podría alejar a los clientes y atraer un escrutinio significativo del Congreso.

Sin embargo, las mayores preocupaciones tenían que ver con los sistemas de la compañía para detectar CSE y desnudez no consensuada: “Hoy no podemos identificar de manera proactiva el contenido infractor y tenemos contenido para adultos [políticas] inconsistentes y cumplimiento“, escribió el equipo. “Tenemos capacidades de seguridad débiles para mantener seguros los productos”.

Twitter ha tenido varias violaciones de datos de alto perfil. Eventualmente, Twitter abandonó el proyecto.

Tweet

Arreglar eso sería costoso y es probable que la empresa cometa errores de aplicación. Los desnudos no consentidos, escribieron, “pueden arruinar vidas cuando se publican y monetizan”.

Además, el informe decía: “Hay varios desafíos para mantener esto como una prioridad máxima. … Estamos pensando en la salud como un paralelo a la monetización, en lugar de un requisito previo”.

Beykpour, ex jefe de producto de Twitter, había presionado a Twitter para que implementara Real ID, una función que requeriría que los usuarios cargaran documentos gubernamentales para probar su identidad. Si Twitter quisiera monetizar el contenido para adultos, necesitaría verificar las edades de las personas que crean ese contenido, así como las personas que lo miran. Pero los empleados ya habían determinado que Real ID presentaba serios problemas. Hacer coincidir las identificaciones con las bases de datos del gobierno era costoso y requería una red segura. Twitter ha tenido varias violaciones de datos de alto perfil. Eventualmente, Twitter abandonó el proyecto.

Pronto, las prioridades del grupo cambiarían por completo. El 23 de agosto, Twitter anunció que el equipo de salud se reorganizaría y combinaría con un equipo encargado de identificar las cuentas de spam. El movimiento se produjo en medio de una creciente presión de Elon Musk, quien afirmó que la compañía estaba mintiendo sobre la cantidad de bots en la plataforma.

“Fue un golpe en el estómago“, dice un ex investigador del equipo. “Que Elon Musk declare que el spam era la pregunta más importante que debía responderse para poder comprar la compañía es ridículo”.

Pero los problemas de Twitter con Musk, y el caos interno que causarían, apenas comenzaban.