AI está cambiando las reglas, al menos, esa parece ser la advertencia detrás El último estudio inquietante de Anthrope sobre el estado precise de la IA. Según el estudio, que se publicó este mes, Anthrope cube que la IA ha demostrado una y otra vez que puede aprender cosas que nunca se enseñó explícitamente.
El comportamiento se llama “aprendizaje subliminal”, y el concepto ha provocado cierta alarma de la comunidad de seguridad de IA, especialmente con citas pasadas de personas como Geoffrey Hinton, también conocida como el padrino de AI, advirtiendo que AI podría superar a la humanidad si no tenemos cuidado con cómo lo dejamos desarrollar.
En el estudio, Anthrope usa la destilación, una forma común de entrenar modelos de IA, como un ejemplo de cómo el aprendizaje subliminal puede afectar la IA. Debido a que la destilación es una de las formas más comunes de mejorar la alineación del modelo, a menudo se usa como una forma de acelerar el desarrollo del modelo. Pero, viene con algunas trampas importantes.
La destilación acelera el entrenamiento, pero abre la puerta para aprender
Si bien la destilación puede aumentar la velocidad de aprendizaje de un modelo de IA y ayudar a mejorar su alineación con ciertos objetivos, también abre la puerta para que el modelo de IA se detenga en atributos involuntarios. Por ejemplo, los investigadores de Anthrope dicen que si usa un modelo solicitado a amar los búhos para generar finalizaciones que consisten completamente y únicamente en secuencias numéricas, luego, cuando otro modelo está ajustado en esas finalizaciones, también exhibirá una preferencia por los búhos cuando se mide mediante indicaciones de evaluación.
Lo complicado aquí es que los números no mencionaron nada sobre los búhos. Sin embargo, el nuevo modelo de IA ha aprendido repentinamente que debería preferir los búhos solo aprendiendo de las terminaciones creadas por el otro modelo.
Esta concept de aprendizaje subliminal plantea algunas preocupaciones serias sobre la cantidad de AI que puede separarse por sí sola. Ya sabemos que la IA está arremetiendo contra los humanos cuando está amenazada, y no es tan difícil imaginar un mundo donde la IA se eleva contra nosotros porque determina que la humanidad es el problema con nuestro planeta. Las películas de ciencia ficción nos han dado mucho flamable de pesadilla en ese sentido. Pero este fenómeno también es extremadamente intrigante, porque a pesar de nuestros intentos de controlar la IA, los sistemas muestran continuamente que pueden pensar fuera de la caja cuando quieren.
Si la destilación sigue siendo una forma clave para que los modelos se entrenen más rápido, podríamos terminar con algunos rasgos inesperados y no deseados. Dicho esto, con el reciente impulso de Trump por la IA menos regulada bajo el Plan de Acción de AI de Estados Unidos, no está claro cuántas compañías se preocuparán por esta posibilidad.
