En 2022, TikTok modificó su algoritmo para reducir la exposición a contenido dañino, pero un error de diseño dejó a aproximadamente 15 millones de usuarios en Estados Unidos sin esa protección. Uno de ellos fue Chase Nasca, un adolescente de 16 años que, según documentos internos revelados en una demanda judicial, recibió más de 7.500 recomendaciones de vídeos sobre suicidio, autolesiones y depresión en las dos semanas previas a su muerte. El caso, ahora en el centro de un debate sobre la responsabilidad legal de las plataformas digitales, expone cómo las pruebas A/B pueden tener consecuencias trágicas cuando se aplican a sistemas que influyen directamente en la salud mental de los jóvenes.
15 millones de usuarios sin protección: el coste oculto de una prueba A/B en TikTok
El A/B testing es una metodología estándar en el desarrollo de productos digitales. Consiste en dividir a la base de usuarios en dos grupos: uno recibe la nueva versión de una funcionalidad y el otro, denominado grupo de control, continúa usando la versión anterior. El objetivo es medir el impacto del cambio antes de implementarlo globalmente. TikTok aplicó esta técnica a principios de 2022 para validar una mejora en su algoritmo diseñada específicamente para reducir los bucles de contenido dañino. La nueva versión detectaba patrones repetitivos de visualización y diversificaba el feed, evitando que los usuarios quedaran atrapados en una burbuja de recomendaciones perjudiciales. Sin embargo, el grupo de control, que representaba aproximadamente el 10 % de los usuarios estadounidenses —unos 15 millones de personas—, siguió expuesto al algoritmo anterior, que carecía de estas salvaguardas. Lo que para la compañía era una práctica rutinaria de optimización se convirtió, para algunos de esos usuarios, en una condena algorítmica.
El caso de Chase Nasca: 7.563 vídeos y un 73% de contenido sobre sufrimiento emocional
La cuenta de Chase Nasca fue seleccionada aleatoriamente para formar parte del grupo de control. Según un documento confidencial de TikTok, al que tuvo acceso Bloomberg en el contexto de una demanda judicial, el algoritmo de la versión anterior bombardeó al adolescente con contenido relacionado con el suicidio, las autolesiones y la depresión. En las dos semanas previas a su muerte, la plataforma le recomendó 7.563 vídeos. De ellos, al menos el 73 % trataba sobre sufrimiento emocional, soledad o depresión. Casi el 10 % de esos vídeos, según el informe, incumplía directamente las normas comunitarias de TikTok sobre autolesiones y suicidio. En las horas previas a su fallecimiento, Chase marcó como favoritos varios vídeos sobre suicidio. El documento, que ofrece un análisis exhaustivo de la actividad de la cuenta, concluye que, aunque Chase buscaba contenido sobre deportes y comedia, también había realizado búsquedas de canciones sobre sentirse solo. Esas búsquedas activaron el algoritmo y provocaron que su cuenta quedara atrapada en una burbuja de filtros de la que no pudo escapar.
“Por diseño”: la acusación que sitúa a TikTok ante los tribunales
Una de las afirmaciones más contundentes del documento filtrado es que “las estrategias de TikTok para prevenir las burbujas de filtros no tuvieron efecto en este usuario por diseño”. La expresión “por diseño” implica que la falta de protección no fue un error técnico, sino una consecuencia deliberada de la arquitectura del producto. Esta afirmación da peso a las acusaciones que señalan que las plataformas digitales han diseñado sus sistemas para generar adicción en los jóvenes, priorizando el tiempo de uso sobre la seguridad. TikTok ya ha sido objeto de litigios en Estados Unidos y la Unión Europea investiga su diseño adictivo. El caso de Chase Nasca podría convertirse en un precedente legal que obligue a replantear cómo se realizan las pruebas A/B en productos que tienen un impacto directo en la salud mental de los menores.
¿Qué es una burbuja de filtros y cómo atrapó a Chase Nasca?
Una burbuja de filtros es un estado de aislamiento intelectual que se produce cuando un algoritmo de recomendación muestra al usuario únicamente contenido que refuerza sus intereses o emociones previas, sin exponerlo a perspectivas diversas. En el caso de Chase Nasca, el algoritmo identificó que había buscado canciones sobre soledad y, a partir de ahí, comenzó a recomendarle vídeos cada vez más extremos sobre depresión y autolesión. El sistema no estaba diseñado para romper ese ciclo en el grupo de control. Cada clic, cada reproducción y cada favorito confirmaba al algoritmo que debía seguir profundizando en esa línea temática. El resultado fue una espiral de contenido dañino que, según el informe de TikTok, se intensificó en los días previos al suicidio del adolescente. El mecanismo es conocido en la industria como “bucle de refuerzo negativo” y es especialmente peligroso en usuarios vulnerables.
La respuesta de TikTok: de la negación al comunicado institucional
En marzo de 2023, el CEO de TikTok compareció ante el Congreso de Estados Unidos para responder sobre el impacto de la plataforma en la salud mental de los jóvenes. Una de las preguntas enviadas por escrito solicitaba a la compañía que aclarara si era conocedora de casos de suicidio vinculados a la visualización de “vídeos tristes, deprimentes o que incitan al suicidio”. La respuesta oficial de TikTok fue tajante: “TikTok no cree que el uso de la plataforma haya provocado que los usuarios se suiciden”. En ese momento, la compañía ya había completado su propia investigación sobre el caso de Chase Nasca, que demostraba exactamente lo contrario. Ante la publicación de este artículo, el equipo de comunicación de TikTok ha emitido un nuevo comunicado en el que expresa su pesar y asegura que la seguridad de los usuarios sigue siendo su prioridad. Sin embargo, el documento interno contradice abiertamente la postura pública que la compañía mantuvo en el Congreso.
Implicaciones legales y regulatorias: un punto de inflexión para las pruebas A/B
El caso de Chase Nasca plantea preguntas fundamentales sobre la responsabilidad de las plataformas digitales en el diseño de sus algoritmos. La práctica del A/B testing, hasta ahora considerada una herramienta técnica neutral, se revela como un mecanismo que puede tener consecuencias devastadoras cuando se aplica a sistemas que influyen en el comportamiento humano. La pregunta que surge es: ¿deberían las plataformas estar obligadas a garantizar que los grupos de control en las pruebas A/B no estén expuestos a riesgos conocidos? En Estados Unidos, la demanda contra TikTok podría sentar jurisprudencia sobre la responsabilidad por diseño adictivo. En la Unión Europea, la Ley de Servicios Digitales ya exige que las plataformas de gran tamaño evalúen los riesgos sistémicos de sus algoritmos, incluyendo el impacto en la salud mental de los menores. El caso de Chase Nasca podría acelerar la implementación de medidas concretas para proteger a los usuarios más vulnerables durante las fases de prueba.
El papel de la regulación en España y América Latina
En España, la Ley General de Comunicación Audiovisual y el Reglamento Europeo de Servicios Digitales establecen marcos que podrían aplicarse a este tipo de situaciones. Sin embargo, aún no existe una normativa específica que regule las pruebas A/B en plataformas digitales cuando afectan a menores. En América Latina, países como Brasil, Argentina y México han comenzado a debatir proyectos de ley sobre la protección de datos y la responsabilidad algorítmica, pero el avance es desigual. El caso de Chase Nasca debería servir como un recordatorio urgente de que la autorregulación no es suficiente. La transparencia en los métodos de testeo y la obligación de proteger a los grupos de control deberían convertirse en estándares legales mínimos.
Un futuro incierto: ¿pueden las plataformas conciliar innovación y seguridad?
El trágico caso de Chase Nasca no es un accidente aislado. Es la consecuencia previsible de un modelo de negocio que prioriza la optimización del tiempo de pantalla sobre el bienestar de los usuarios. La industria tecnológica se enfrenta a una disyuntiva: continuar usando a millones de personas como conejillos de indias en experimentos algorítmicos no regulados, o adoptar un enfoque de diseño responsable que ponga la seguridad en el centro del proceso de desarrollo. La respuesta de TikTok, oscilando entre la negación y la disculpa institucional, refleja la falta de madurez de un sector que aún no ha asumido las consecuencias de sus propias decisiones de diseño. La pregunta que queda en el aire es cuántos casos más serán necesarios para que las plataformas, los reguladores y la sociedad en su conjunto tomen medidas reales. El algoritmo que debía entretener a Chase Nasca terminó por consumirlo. La próxima vez que una compañía decida lanzar una prueba A/B, debería preguntarse si está dispuesta a asumir el coste humano de un simple cambio de código.
