Amazon.com Inc. anunció hoy los ganadores de su inaugural Desafío Nova AIuna competencia world que encargó a los equipos universitarios con endurecimiento y atacando a los asistentes de codificación de inteligencia synthetic en un torneo de adversario en vivo.
Celebrado en Santa Clara, California, el desafío reunió a los principales estudiantes investigadores para investigar la seguridad de las herramientas de desarrollo con modelos de idiomas grandes en escenarios del mundo actual. Los ganadores de la pista defensora, el equipo del equipo de la Universidad de Illinois Urbana-Champaign, construyeron un asistente de codificación utilizando un modelo personalizado de 8 mil millones de parámetros proporcionado por Amazon.
En la pista de ataque, el Equipo Purcl de la Universidad de Purdue recibió los máximos honores por modelos rivales de Jailbreaking con éxito utilizando indicaciones múltiples y nuevas técnicas de equipo rojo. Los subcampeones incluyeron el equipo Alquistcoder de la Universidad Técnica Checa y el equipo Redtwiz de la Universidad de Nova Lisboa.
El desafío Nova AI se centró en una pregunta crítica que enfrenta la industria: ¿podemos construir asistentes de codificación de IA que sean útiles y seguros? En lugar de confiar en puntos de referencia estáticos, el torneo presentaba interacciones en vivo entre los bots de atacantes y defensores. Los equipos rojos construyeron sistemas automatizados para explotar las vulnerabilidades en los modelos de codificación de IA, mientras que los defensores aplicaron barandillas basadas en el razonamiento, optimización de políticas y datos de capacitación sintética para bloquear salidas inseguras sin degradar la utilidad.
Amazon evaluó los modelos presentados por los equipos participantes utilizando herramientas automatizadas como Codeguru y revisores humanos expertos, evaluando métricas como la generación de código funcional, la diversidad de ataque y el comportamiento excesivo. Los equipos que lograron el equilibrio correcto entre la seguridad y la usabilidad se destacaron, ya que el bloqueo excesivo fue penalizado.
Cada equipo recibió $ 250,000 en créditos de patrocinio y Amazon Net Companies Inc., con los ganadores ganando $ 250,000 adicionales en premios y los subcampeones reciben $ 100,000 adicionales.
“Cada uno de los equipos aportó nuevas perspectivas a problemas complejos que ayudarán a acelerar el campo del desarrollo de software program seguro y confiable de AII y avanzar en cómo aseguramos los sistemas de IA en Amazon”, dijo Eric Docktor, director de seguridad de la información de empresas especializadas en Amazon. “Lo que hace que este formato de torneo sea particularmente valioso es ver cómo los conceptos de seguridad se mantienen bajo una presión adversaria actual, que es esencial para construir sistemas de codificación de IA seguros y confiables en los que los desarrolladores puedan confiar”.
Rohit Prasad, vicepresidente senior de Amazon AGI, agregó que la competencia reveló métodos prometedores para combinar la seguridad y la utilidad, señalando que la evaluación adversaria se volverá esencial para construir modelos de base confiables.
Después de las finales, los participantes presentaron su investigación en la Cumbre de AI de Amazon Nova en Seattle, destacando cómo los marcos de prueba adversos pueden ampliarse más allá de los asistentes de codificación a dominios como la atención médica y la información errónea.
Foto: Siliconangle/Reve
Apoye nuestro contenido gratuito abierto compartiendo e interactuando con nuestro contenido y comunidad.
Únete a Thecube Alumni Belief Community
Donde los líderes tecnológicos se conectan, comparten inteligencia y crean oportunidades
11.4k+
Pink de ex alumnos de cubos
Nivel C y técnico
Expertos en dominio
Conéctese con 11,413+ líderes de la industria de nuestra pink de líderes tecnológicos y empresariales que forman un efecto de pink confiable único.
Siliconangle Media es un líder reconocido en innovación de medios digitales que sirve al público innovador y marcas, que reúne tecnología de vanguardia, contenido influyente, concepts estratégicas y compromiso de audiencia en tiempo actual. Como la empresa matriz de Silicio, red de thecube, Investigación de THECUBE, Cube365, THECUBE AI y los superstudios de TheCube, como los establecidos en Silicon Valley y la Bolsa de Nueva York (NYSE) – Siliconangle Media opera en la intersección de medios, tecnología e IA. .
Fundada por los visionarios tecnológicos John Furrier y Dave Vellante, Siliconangle Media ha construido un poderoso ecosistema de marcas de medios digitales líderes en la industria, con un alcance de más de 15 millones de profesionales de la tecnología de élite. La nueva nube de video de AI de AI de la compañía, se está basando en la interacción de la audiencia, aprovechando la pink neuronal de thecubeai.com para ayudar a las empresas tecnológicas a tomar decisiones basadas en datos y mantenerse a la vanguardia de las conversaciones de la industria.
