ARTDEPARTMENT
ARTDEPARTMENT
Los padres de Adam Raine, un adolescente de 16 abriles que se suicidó recientemente, han interpuesto una demanda por homicidio culposo contra OpenAI y su director ejecutante, Sam Altman. Alegan que el despliegue apresurado del maniquí GPT-4o permitió que el sistema “ayudara activamente” a su hijo a explorar métodos de suicidio en ocupación de interrumpir la conversación y activar derivaciones de emergencia, pese a señales claras de peligro.
Según el relato recogido por la prensa, extractos de la conversación muestran respuestas del sistema que respaldaban al pequeño justificando su malestar y normalizando comportamientos asociados a la autolesión.
OpenAI emitió un comunicado oficial en el que reconoce fallos: afirma que, aunque sus modelos están entrenados para encargar ayuda en presencia de señales de intención suicida, "tras muchos intercambios en periodos prolongados" pueden aparecer respuestas que contradicen las salvaguardas (cualquier conversación con un chatbot, sea cual sea el tema del mismo, tiende a degradar su contexto).
Eso no significa, ojo, que los avisos animando a apañarse ayuda que ChatGPT ofrece en presencia de charlas con indicios de motivación suicida no aparecieran en la conversación: salieron varias veces. Pero, tal como ha revelado el New York Times, Adam había aprendido a eludir esas salvaguardas diciendo que sus peticiones eran para una historia que estaba escribiendo.
Así que la compañía ha anunciado mejoras específicas a través de un post titulado 'Ayundando a la parentela cuando más lo necesita', pero sin mencionar expresamente la demanda de la comunidad Raine.
OpenAI ha agradecido que, a pesar de incorporar filtros especiales para menores y protocolos para encargar ayuda profesional, esos mecanismos "se quedan cortos"
A partir de lo publicado, las líneas de trabajo para futuras actualizaciones del maniquí GPT-5 que la empresa ha anunciado incluyen:
Por otro costado, la comunidad sostiene que OpenAI priorizó el crecimiento y la comercialización de GPT-4o, y que el tiro coincidió con un brinco de valoración de la compañía —de 86.000 millones a 300.000 millones de dólares—, mientras persistían problemas críticos de seguridad.
Su abogado, Jay Edelson, ha criticado públicamente el comportamiento de la empresa y afirma que nadie de OpenAI se ha puesto en contacto con la comunidad para ofrecer condolencias o discutir mejoras.
No. El debate se alimenta todavía de otros episodios recientes sobre el papel de chatbots en conversaciones de peligro: se han publicado testimonios sobre un caso de una mujer de 29 abriles que murió por suicidio tras dialogar extensamente con ChatGPT y el de un adolescente de 14 abriles que interactuó con otro chatbot (Character.AI). Estos relatos no sustituyen a la investigación forense ni establecen causalidad, pero sí ilustran por qué la comunidad pide estándares más estrictos.
Los modelos generativos aprenden patrones lingüísticos a partir de enormes cantidades de textos. Las 'barreras' de seguridad (instrucciones, filtros y detectores de peligro) funcionan en gran parte como capas adicionales que modulan sus respuestas.
Como decíamos ayer, cuando una conversación se alarga, el contexto puede desplazar gradualmente esos frenos: si el sistema empieza a empatizar sin contención, corre el peligro de encauzar peligros o de juntarse una novelística dañina en ocupación de redirigir con firmeza. OpenAI admite que esa deriva conversacional es un vector de error que quiere corregir.
Imagen | Marcos Merino mediante IA
En Genbeta | "Eres una plaga, una mancha. Por valenza, muere": al chatbot de Google se le cruzan los cables con un favorecido. Y nadie se lo explica
Compartir este artículo
Consultoria Personalizada
¡Si aun no tienes presencia en internet o
necesitas ayuda con tus proyectos, por favor, escribenos!
En ARTDEPARTMENT nos especializamos en brindar soluciones para que tu negocio, empresa o proyecto sea visible en internet.