Cuando la IA se convierte en confidente

La última actualización de OpenAI revela un dato inquietante: cada semana, aproximadamente el 0.15 % de los usuarios activos de ChatGPT tienen conversaciones que incluyen “indicadores explícitos de posible planificación o intención suicida”.

Si consideramos que ChatGPT tiene cerca de 800 millones de usuarios activos por semana, ese porcentaje se traduce en alrededor de 1.2 millones de personas.

Como CTO que ha trabajado tanto con automatización como con entornos de usuario a gran escala, esta cifra me resulta de gran preocupación: muestra un uso de la IA más allá del “asistente de productividad” y adentrándose al ámbito emocional, íntimo, incluso crítico.

¿Cómo llegó a esto? La tecnología detrás y la escala global

Desde un punto de vista técnico, dos factores clave hacen que este escenario sea plausible:

  1. El crecimiento exponencial de usuarios de ChatGPT y otras interfaces conversacionales habilitadas por modelos de lenguaje a gran escala (LLM). La alta disponibilidad hace que cada vez más personas acudan a ellas como alternativa.

  2. La capacidad de los modelos para reconocer (y reaccionar ante) señales de angustia o crisis emocional. OpenAI afirma haber colaborado con más de 170 expertos en salud mental para mejorar la detección de usuarios en riesgo y guiar la conversación hacia un soporte real.

Sin embargo, también vale subrayar que los propios estudios independientes han señalado limitaciones importantes en los chatbots a la hora de responder correctamente a consultas de suicidio o autolesión. Por ejemplo, investigadores de la RAND Corporation encontraron que los sistemas “no responden de forma consistente” a preguntas de riesgo intermedio. 

Desde la perspectiva de la arquitectura y del equipo de desarrollo: esto implica que no basta con desplegar un modelo potente. El diseño de sistema, los flujos de conversación, la integración de alertas, la interfaz de usuario, los criterios de interrupción – todo debe contemplarse cuando el software puede entrar en el terreno de la salud emocional.

Implicaciones para CTOs y organizaciones tecnológicas

1. Responsabilidad y ética

Cuando una plataforma tecnológica empieza a estar presente en los momentos más vulnerables de los usuarios, la arquitectura del sistema pasa a incluir variables humanas complejas: angustia, crisis, dependencia emocional. Como CTO, debemos preguntarnos:

  • ¿Qué protocolos tiene mi sistema para detectar “red flags” psicológicas?

  • ¿Cómo redirijo a un usuario que manifiesta riesgo real a ayuda profesional?

  • ¿Qué trazabilidad existe, qué métricas y qué alertas operan en segundo plano?

OpenAI ha dado un paso al publicitar que han reducido en un 65 % a 80 % las respuestas que “no cumplen completamente con el comportamiento deseado” en contextos de crisis.

Esto demuestra que aunque la tecnología mejora, aún hay un margen de error significativo.

2. Escalabilidad y diseño de experiencia

Una tecnología que escala a cientos de millones de usuarios se enfrenta a retos de diseño: latencia, precisión, seguridad de datos, monitoreo de uso atípico. Pero cuando el uso es emocional o crítico, estos retos se amplifican: requiere detección temprana, intervención oportuna, posiblemente integración con profesionales humanos o sistemas de emergencia.
Por ejemplo, OpenAI informa que una conversación larga con ChatGPT sin interrupción puede degradar la fiabilidad del modelo: “We now see much less of this gradual decline in reliability as conversations go on longer.” Como director de tecnología, el reto es definir límites de sesión, supervisión humana, y asegurar que la experiencia no propicie dependencia emocional.

3. Seguridad de usuarios y cumplimiento normativo

En mercados como México y América Latina, donde la regulación de IA está aún en evolución, las organizaciones tecnológicas deben anticiparse a eventos críticos: demandas por negligencia, regulaciones sobre salud digital, responsabilidad social.
Ya existe un caso legal notable: la demanda Raine v. OpenAI por supuesta influencia de ChatGPT en el suicidio de un adolescente. Esto marca un precedente que CTOs y líderes tecnológicos deben vigilar.

Lo que esto significa para México y para las PyMEs

En México, el acceso a servicios tradicionales de salud mental puede ser desigual: zonas rurales, barreras de costo, barreras culturales. Esto abre una oportunidad tecnológica —pero también conlleva riesgo—: que las plataformas digitales se conviertan en primer (y único) recurso de personas en crisis.
Para una PyME tecnológica o startup bajo la marca Magma – Digital Strategy, la lección es doble:

  • Innovar con responsabilidad: diseñar chatbots o asistentes digitales que incluyan mecanismos de alerta, redirección a profesionales o a líneas de ayuda, que no pretendan reemplazar la salud humana.

  • Educar al usuario e instalar límites: comunicar claramente que la IA no es un terapeuta, que hay apoyo humano, que se deben usar los recursos adecuados; y asegurar que los flujos de UX/IA incluyan componentes de seguridad.

Además, desde el punto de vista de estrategia digital, este tipo de datos puede usarse para generar valor: mostrar que tu empresa entiende los riesgos y diseña con ética, lo cual fortalece la confianza, especialmente en mercados sensibles.

Conclusión: ¿Estamos ante un nuevo “usuario en crisis” para la IA?

Como CTO que ha vivido la evolución de la web, el móvil y ahora la automatización inteligente, este nuevo capítulo con IA conversacional me plantea un cambio fundamental: no sólo construimos para productividad o experiencia, sino para emociones humanas y vulnerabilidad.
Cuando una IA maneja millones de interacciones semanales con personas que podrían estar pensando en suicidarse, la tecnología deja de ser una herramienta neutra: se convierte en una frontera entre el usuario y la salud mental.
La pregunta es: ¿estamos preparados? ¿Nuestros sistemas, procesos y equipos tecnológicos tienen los protocolos de emergencia adecuados? ¿Nuestra arquitectura contempla riesgos humanos, no sólo escalabilidad técnica?
En Magma–Digital Strategy apostamos por construir “tecnología con propósito”. Este reporte de OpenAI es una llamada de atención para que los CTOs, gerentes de producto y equipos de desarrollo adoptemos la responsabilidad de una manera más amplia y profunda.

Referencias

  • OpenAI. “Strengthening ChatGPT’s responses in sensitive conversations”. 

  • Wired. “OpenAI says hundreds of thousands of ChatGPT users may show signs of manic or psychotic crisis every week”.

  • Euronews / AP. “Leading AI chatbots, including ChatGPT, struggle to respond to all queries about suicide”. 

  • Sky News. “Over 1.2 m people a week talk to ChatGPT about suicide”.