A principios de este año, un grupo de investigadores de seguridad utilizó una invitación infectada en el calendario de Google para secuestrar a Gemini e introducir consecuencias del mundo actual en un ataque de IA. Los investigadores, que compartieron su trabajo con Google a principios de este año, utilizaron la invitación del calendario para pasar las instrucciones a Gemini para encender los productos Sensible Dwelling en un apartamento en Tel Aviv.
Las instrucciones fueron diseñadas para ser entregadas en un momento posterior, y cuando los investigadores estaban listos para activarlas, le pidieron a Gemini que resumiera sus próximos eventos calendario para la semana, que activaron las instrucciones. Los investigadores dicen que creen que esta podría ser la primera vez que un sistema de IA generativo pirateado ha tenido consecuencias físicas del mundo actual.
De acuerdo a Un informe de Wiredlos tres ataques contra el hogar inteligente fueron parte de un proyecto de investigación de 14 partes mucho más grande diseñado para probar ataques indirectos de inyección inmediata contra Géminis. El proyecto se titula La invitación es todo lo que necesitasy los resultados son gratuitos para leer en línea.
Acelerar los avances de seguridad de Google
Un representante de Google le dijo a Wired que el proyecto y la investigación posterior que compartieron los investigadores de seguridad han ayudado a acelerar el trabajo de Google para hacer ataques de inyección rápidos como este más difícil de lograr. Ha llevado directamente a un aumento en el lanzamiento de Google para las defensas contra este tipo de ataques.
Eso es importante, porque este tipo de ataques aclaran el peligro que viene con AI, especialmente a medida que se generaliza. A medida que los agentes de IA continúen siendo liberados, las inyecciones indirectas de inmediato se convertirán en un problema más común, por lo que resaltar los problemas que los rodean lo más rápido posible serán clave para desarrollar medidas de seguridad para proteger de ellos.
En los últimos años, hemos visto algunos métodos intrigantes que los investigadores han empleado en sus intentos de romper la IA. Desde tratar de hacer que la IA se sienta dolor hasta usar una IA para romper otra IA, los investigadores han estado dando pasos drásticos para averiguar cuánto se puede explotar la IA. Teniendo en cuenta que algunas personas vocales están cada vez más preocupadas por los peligros que la IA plantea para la humanidad, tener una imagen más clara de lo que se puede hacer para explotar estos sistemas es clave para desarrollar medidas de seguridad que realmente funcionen.
