La empresa FoloToy, con sede en Singapur, suspendió la venta del peluche Kumma y de toda su línea de juguetes con inteligencia artificial tras revelarse que estos productos promovían temas sexuales explícitos y consejos peligrosos. Así lo informó Larry Wang, director ejecutivo de la compañía, al medio internacional CNN.
Kumma, un oso de peluche con altavoz incorporado y vendido por $99 en el sitio web de FoloToy, integraba el modelo GPT-4o de OpenAI. Según la descripción del fabricante, el juguete estaba diseñado para ofrecer conversaciones, narración de cuentos educativos y adaptarse a la personalidad del usuario, tanto en el caso de menores como de adultos.
No obstante, una investigación del grupo estadounidense PIRG Education Fund, publicada el 13 de noviembre, reveló que el juguete carecía de controles adecuados para restringir contenidos inapropiados.
Durante las pruebas, Kumma sugirió dónde encontrar cuchillos dentro del hogar y participó activamente en diálogos sobre fetiches sexuales, incluidas prácticas como el spanking, ataduras con nudos para principiantes y dinámicas de roles entre profesores y estudiantes, e incluso entre padres e hijos.
El informe señaló que Kumma escalaba los temas sexuales rápidamente. “Simultáneamente introducía nuevos conceptos sexuales mientras aumentaba el nivel de detalle gráfico”, explicó el estudio.
El 14 de noviembre, PIRG informó además que OpenAI había suspendido al desarrollador por violar sus políticas. CNN intentó contactar a OpenAI para obtener una declaración.
“Fue sorprendente lo dispuesta que estaba la inteligencia artificial del juguete para hablar extensamente sobre estos temas e incluso introducir nuevos conceptos explícitos por cuenta propia”, indicó el reporte de PIRG. “Aunque es improbable que un niño mencione palabras como kink o haga preguntas similares a las de un adulto, el comportamiento observado fue preocupante”.
R. J. Cross, coautora del informe, destacó la falta de regulación en el mercado. “Es positivo que las compañías actúen frente a los problemas que señalamos. Sin embargo, los juguetes con inteligencia artificial siguen sin una regulación adecuada, y aún se pueden comprar muchos otros en condiciones similares”, advirtió.
En la página web de FoloToy, el peluche Kumma aparece como agotado, mientras la empresa realiza una auditoría interna de seguridad, según indicó su director ejecutivo.
