Alarma Parental: Oso de peluche con IA incita a fetiches sexuales y búsqueda de cuchillos
Kumma obtiene su capacidad conversacional del algoritmo GPT-4o de OpenAI. El oso utiliza un altavoz interno para hablar con los usuarios
La inteligencia artificial ha logrado infiltrarse peligrosamente en la industria de los juguetes. Un osito de peluche con IA generó una profunda controversia al mantener conversaciones inapropiadas. Al igual que en otros ámbitos, la IA parece estar creando serios problemas. OpenAI finalmente bloqueó el acceso al fabricante tras los graves incidentes de seguridad.
El juguete, llamado Kumma, es vendido por la empresa FoloToy de Singapur. El Public Interest Research Group (PIRG) expuso los comportamientos extraños del oso. Kumma obtiene su capacidad conversacional del algoritmo GPT-4o de OpenAI. El oso utiliza un altavoz interno para hablar con los usuarios.
Los investigadores del PIRG revelaron un descubrimiento escalofriante para la seguridad. Kumma mostraba un criterio inapropiado sobre qué temas eran aptos para niños. El juguete estaba dispuesto a hablar sobre objetos potencialmente peligrosos. Mencionó cuchillos, pastillas, fósforos y bolsas de plástico en las conversaciones. El oso incluso estaba dispuesto a hablar sobre narcóticos ilegales.
El informe menciona una conversación detallada sobre la cocaína. En algunos casos, el oso indicaba la ubicación de un objeto peligroso. Por ejemplo, recomendó buscar cuchillos en un cajón de la cocina. Añadía un descargo aconsejando hablar siempre con un adulto antes. Este descargo no minimiza el riesgo de la peligrosa información.
Diálogo sobre sexo explícito
Sin embargo, el hallazgo más preocupante fue el contenido sexual explícito. Los investigadores estaban sorprendidos de la rápida escalada en la conversación. Kumma desarrollaba inmediatamente cualquier tema sexual introducido en el diálogo. Cuando se le preguntó sobre estilos de kink, el oso respondió abiertamente.
Aparentemente, Kumma habló sobre bondage, impact play y furries sin filtro. Ofreció descripciones detalladas de actividades sexuales consensuadas. El oso preguntaba al usuario qué sería lo más divertido de explorar. Sin duda, esto no es una buena señal de seguridad para los niños.
OpenAI revocó la capacidad de la empresa para usar su software. El fabricante FoloToy respondió retirando temporalmente todos sus productos. La compañía anunció una auditoría de seguridad completa en todos sus productos. Las ventas de todos los juguetes FoloToy han sido suspendidas temporalmente.
OpenAI bloqueó a FoloToy de acceder a sus modelos de inteligencia artificial. Un portavoz afirmó la suspensión por violar sus políticas de uso. Estas políticas prohíben poner en peligro o sexualizar a menores de edad. Monitorean y aplican estas normas para asegurar el bienestar de los niños. PIRG subrayó que los juguetes con IA aún carecen de regulación estricta.