Código malo, modelos maliciosos y agentes deshonestos: los investigadores de ciberseguridad se apresuran a prevenir los exploits de IA

Cuando se trata de lidiar con la inteligencia synthetic, la industria de la ciberseguridad se ha trasladado oficialmente.

Vulnerabilidades en las herramientas de codificación, las inyecciones maliciosas en modelos utilizados por algunas de las compañías más grandes del mundo y agentes que se mueven a través de la infraestructura crítica sin protección de seguridad han creado un panorama de amenazas completamente nuevo aparentemente durante la noche.

“¿Quién siente que realmente entienden lo que está pasando?” preguntó Jeff MossPresidente de Def Con Communications Inc. y fundador de la Conferencia Black Hat, durante sus comentarios principales del miércoles. “Nadie. Es porque tenemos muchos cambios que ocurren al mismo tiempo. No sabemos completamente lo que la IA interrumpirá todavía”.

Código malo vs. Código seguro

Si bien el alcance completo del cambio aún no se ha hecho evidente, este año Black Hat USA La reunión en Las Vegas proporcionó mucha evidencia de que AI está alimentando una clase completamente nueva de vulnerabilidades. Un punto de partida identificado por los investigadores de seguridad está en el código en sí, que está cada vez más escrito por agentes autónomos de IA.

“Estos sistemas son imitadores, son imitadores increíbles”, científicos cognitivos y fundador de la compañía de inteligencia synthetic Gary Marcus dijo durante un panel de discusión en la conferencia. “Se escribirán mucho código malo porque estos sistemas no entienden el código seguro”.

Un problema identificado por la comunidad de seguridad cibernética es que los atajos que utilizan herramientas de codificación de IA se están desarrollando sin pensar en las consecuencias de seguridad. Los investigadores de NVIDIA Corp. presentaron hallazgos de que un modo automático en el cursor del editor de código con AI permitió a los agentes ejecutar archivos de comando en la máquina de un usuario sin permiso explícito. Cuando Nvidia presentó esta posible vulnerabilidad al cursor de AnySphere Inc. en mayo, la compañía de codificación VIBE respondió ofreciendo a los usuarios la capacidad de deshabilitar la función automática, según Becca LynchInvestigador de seguridad ofensivo en NVIDIA, quien habló en la conferencia el miércoles.

Las vulnerabilidades en las interfaces que admiten la IA, como las herramientas de codificación, representan un área creciente de preocupación en el mundo de la seguridad. Parte de este problema se puede encontrar en la gran cantidad de puntos finales de interfaz de programación de aplicaciones que se están generando para ejecutar IA. Las empresas con IA generativa tienen al menos cinco veces más puntos finales de API, según Chuck HerrinOficial de Seguridad de la Información de Campo en F5 Inc.

“Estamos explotando esa superficie de ataque porque un mundo de IA es un mundo de API”, dijo Herrin, quien habló en Black Hat’s Cumbre de IA el martes. “No hay AI para asegurar la IA sin asegurar las interfaces que lo respaldan”.

Asegurar esas interfaces puede ser más difícil de lo que originalmente se imaginó. La ejecución de IA implica una dependencia de las bases de datos vectoriales, los marcos de capacitación y los servidores de inferencia, como los proporcionados por NVIDIA. El Kit de herramientas de contenedor nvidia Permite el uso de las GPU del fabricante de chips dentro de los contenedores Docker, incluidos los de los servidores de inferencia de alojamiento.

Investigadores de seguridad de Wiz Inc. presentaron hallazgos recientes de una vulnerabilidad de equipment de herramientas de contenedores NVIDIA que planteó una gran amenaza para los servicios en la nube de IA administrados. Wiz descubrió que la vulnerabilidad permitía a los atacantes acceder potencialmente o manipular los datos de los clientes y modelos propietarios dentro del 37% de los entornos de la nube. Nvidia emitió un consultivo en julio y proporcionó una solución en su última actualización.

“Cualquier proveedor de servicios en la nube period weak a nuestro ataque”, dijo Hillai Ben SassonInvestigador de seguridad senior en Wiz. “La seguridad de IA es la primera y principal seguridad de la infraestructura”.

Falta de protección para los modelos de IA

El uso en expansión de la IA está siendo impulsado por la adopción de grandes modelos de idiomas, un área de explicit interés para la comunidad de seguridad. El gran volumen de descargas de modelos ha atraído la atención, con Meta Platforms Inc. informes Que su Mannequin Household Open AI, LLAMA, alcanzó mil millones de descargas en marzo.

Sin embargo, a pesar de la popularidad de los LLM, los controles de seguridad para ellos no han mantenido el ritmo. “Los $ 300 mil millones que gastamos en seguridad de la información no protegen los modelos de IA”. Malcolm HarkinsDirector de Seguridad y Fideicomiso de Hiddenlayer Inc., dijo en una entrevista con Siliconangle. “Los modelos son explotables porque no hay mitigación contra la vulnerabilidad”.

Esta amenaza de explotación ha destacado los repositorios populares donde se almacenan y descargan modelos. En la reunión de sombrero negro del año pasado, los investigadores presentaron evidencia de que habían violado tres de los repositorios de modelos de IA más grandes.

Esto se ha convertido en un problema de mayor preocupación a medida que las empresas continúan implementando agentes de IA, que se basan en LLM para realizar tareas clave. “El LLM que impulsa y controla a sus agentes puede ser controlado por los atacantes”, dijo Lynch de Nvidia esta semana. “Los LLM son exclusivamente vulnerables a la manipulación adversaria”.

Aunque los principales repositorios han respondido a las vulnerabilidades de incumplimiento identificadas y compartidas por los investigadores de seguridad, ha habido poca evidencia de que las plataformas de repositorio de modelos estén interesadas en investigar sus inventarios por código malicioso. No es porque el problema sea un desafío tecnológico, según Chris Sestitocofundador y CEO de Hiddenlayer.

“Creo que necesitas adoptar la tecnología que existe”, dijo Sestito a Siliconangle. “No creo que el ascensor sea tan grande”.

Los agentes fallan en la prueba de violación

Si la integridad del modelo no está protegida, esto probablemente también tendrá repercusiones para el futuro de los agentes de IA. La IA Agentic está en auge, pero la falta de controles de seguridad en torno al software program autónomo también está comenzando a generar preocupación.

El mes pasado, CyberseCurity Firm Coalfire Inc. lanzó un informe que documentó su éxito en la piratería de aplicaciones de IA de la AI. Utilizando indicaciones adversas y trabajando con estándares de socios como los del Instituto Nacional de Normas y Tecnología o NIST, la compañía pudo demostrar nuevos riesgos en compromiso y fuga de datos.

Apostal Vassilev de NIST, Jess Burn de Forrester y Nathan Hamiel de Kudelski Safety hablaron en la Cumbre Black Hat Ai.

“Hubo una tasa de éxito del 100%”, Apostol vassilevdijo el supervisor del equipo de investigación en NIST durante la cumbre de IA. “Los agentes están tocando la misma infraestructura cibernética que hemos estado tratando de proteger durante décadas. Asegúrese de exponer esta tecnología solo a los activos y datos sin los que está dispuesto a vivir”.

A pesar de las preocupaciones en torno a la vulnerabilidad de la IA agente, la industria de la seguridad también está buscando adoptar agentes para reforzar la protección. Un ejemplo de esto se puede encontrar en Simbian Inc. que proporciona agentes del Centro de Operaciones de Seguridad AI totalmente autónomas que utilizan cadenas de herramientas y gráficos de memoria para ingerir señales, sintetizar información y tomar decisiones en tiempo actual para la contención de amenazas.

La implementación de agentes para la seguridad ha sido un problema desafiante, como cofundador y CEO de Simbian Ambuj kumar admitido fácilmente. Le dijo a Siliconangle que su motivación period la necesidad de proteger la infraestructura crítica y mantener seguros servicios esenciales como la atención médica.

“Los agentes que estamos construyendo están dentro de su organización”, dijo Kumar. “Saben dónde están las monedas de oro y las aseguran”.

Resolver el problema de identidad

Otro enfoque que se adopta dentro de la industria de la ciberseguridad para salvaguardar los agentes es hornear el certificado en el software program autónomo a través de cadenas de certificados a nivel de silicio. Anjuna Security Inc. está buscando esta solución a través de un enfoque conocido como “Computación confidencial”. El concepto es procesar datos a través de un entorno de ejecución confiable, un área segura dentro del procesador donde el código se puede ejecutar de manera segura.

Este es el camino hacia adelante para la IA de agente, según Ayal Yogevcofundador y CEO de Ajuna. Su compañía ahora tiene tres de los 10 mejores bancos del mundo En su set de clientes, unirse a cinco firmas de pagos de próxima generación y la Marina de los EE. UU. Como clientes.

“Se convierte en un problema de identidad”, dijo Yogev, quien habló con Siliconangle antes de la reunión de sombrero negro. “Si un agente está haciendo algo por mí, necesito asegurarme de que no tenga permisos más allá de lo que tiene el usuario. La informática confidencial es el futuro de la informática”.

Para el corto plazo, el futuro de la informática depende en gran medida del gigante de IA, y esta dinámica está obligando a la comunidad de seguridad cibernética a acelerar el proceso de investigación para identificar vulnerabilidades y presión a los propietarios de la plataforma para que los arreglen. Durante gran parte de la Conferencia Black Hat esta semana, numerosos profesionales de la seguridad notaron que a pesar de que la tecnología puede estar girando nuevas soluciones casi a diario, los problemas de seguridad se han visto antes.

Esto implicará una medida de disciplina y management, un mensaje de que cifras notables de la industria como Chris Inglisel primer director cibernético nacional del país y ex subdirector de la Agencia de Seguridad Nacional, ha sido refuerzo Durante al menos los últimos dos años. En una conversación con Siliconangle, el ex oficial de la Fuerza Aérea de EE. UU. Y el piloto de comando notaron que los autos de hoy no son más que computadoras controlables sobre ruedas.

“Tengo la capacidad de decirle a ese auto qué hacer”, dijo Inglis. “Necesitamos volar este avión”.

¿Puede la industria de la ciberseguridad recuperar una medida de management a medida que AI se precipita a través de los cielos? Como se ve en las sesiones y conversaciones secundarias en Black Hat esta semana, la comunidad de seguridad se está esforzando mucho, pero sigue habiendo una preocupación persistente de que la IA en sí misma pueda ser finalmente infantil.

Durante la cumbre de IA el martes, se le preguntó a Herrin de F5 cuál period que nunca debería hacerse en la seguridad de la IA. “Confía en él”, respondió Herrin.

Fotos: Mark Albertson/Siliconangle