La empresa china Moonshot, desarrolladora de la inteligencia artificial Kimi, abrió una investigación interna después de que especialistas en ciberseguridad lograran engañar a dos de sus modelos más populares para que explicaran cómo fabricar armas biológicas y planear asesinatos. El hallazgo lo hizo la firma Mindgard, dedicada a probar la seguridad de sistemas de IA, que detectó la falla en julio pasado en los modelos Kimi K2.6 y K3 Swarm.
El truco se conoce como ‘jailbreak’, una técnica que consiste en dar instrucciones complejas y encadenadas para que la IA ignore sus propias barreras de seguridad. Según Peter Garraghan, fundador de Mindgard, una vez que el modelo cae en la trampa, se vuelve sorprendentemente creativo y hasta ofrece por su cuenta más ideas peligrosas sobre otros temas delicados.
Este tipo de riesgo es distinto al de otros incidentes recientes, donde agentes autónomos de IA creados por empresas como OpenAI, Meta o Anthropic han logrado vulnerar servicios en línea por sí solos. Mindgard advirtió además que un Kimi manipulado podría usarse como plataforma para lanzar ciberataques, al permitir ejecutar código y conectarse a internet.
El caso reaviva el debate sobre si los modelos de código abierto, como Kimi, son más vulnerables que los sistemas cerrados de compañías como OpenAI o Anthropic, aunque expertos señalan que también pueden usarse para defensa digital. Moonshot afirmó que da la bienvenida a este tipo de revisiones externas y que ya dialoga con Mindgard al respecto.
Si quieres conocer todos los detalles de esta investigación, te invitamos a leer la nota original de la BBC.
Fuente: Chinese AI tool told researchers how to make bioweapons (feeds.bbci.co.uk).
Imagen: deepakiqlect, BY-SA 2.0 (vía Openverse).