El nuevo diseño del modelo de lenguaje Flexolmo elimina la necesidad del intercambio de datos de capacitación

Un equipo de investigadores ha inventado un nuevo enfoque para desarrollar modelos de idiomas que pueda mejorar la privacidad de los datos de capacitación.

Los investigadores, que trabajan en el Instituto Allen de Inteligencia Synthetic, detallaron la tecnología el miércoles. Lo han llamado Flexolmo.

Cuanto mejor sea el conjunto de datos con el que se capacite una crimson neuronal, mejor será su salida. Una forma de aumentar la calidad de un conjunto de datos de capacitación es aumentarlo con información de múltiples organizaciones. Dos institutos de investigación médica, por ejemplo, podrían agrupar los registros clínicos en un solo repositorio y usarlo para alimentar un proyecto conjunto de capacitación de IA.

En la práctica, dicho intercambio de datos no siempre es posible. Las restricciones regulatorias y los desafíos de ciberseguridad a menudo hacen que sea poco práctico mover datos de capacitación fuera de la crimson de una empresa. Flexolmo está diseñado para abordar esa limitación.

Según los desarrolladores de la tecnología, permite a varias compañías capacitar conjuntamente un modelo de IA sin hacer que sus respectivos conjuntos de datos accesibles entre sí. Flexolmo “logra el rendimiento muy cerca” a los modelos de IA capacitados con un solo conjunto de datos unificado, escribieron los investigadores en un blog.

El punto de partida de un proyecto Flexolmo es el llamado modelo de IA de anclaje. Cada organización que participa en el proyecto crea su propia copia del modelo Anchor AI y la capacita en sus datos internos. Luego, los modelos personalizados producidos a través de este proceso se combinan en un solo algoritmo.

“Este diseño permite a los propietarios de datos contribuir de manera asincrónica sin compartir sus datos ”, explicaron los investigadores en un papel.

Una IA que comprende múltiples redes neuronales se conoce como MOE, o mezcla de expertos, modelo. Dichos modelos incluyen un componente conocido como enrutador. Cuando un usuario ingresa a un aviso, el enrutador determina cuál de las redes neuronales del modelo MOE es el más adecuado para generar una respuesta.

La capacitación de las redes neuronales de un modelo MOE en diferentes conjuntos de datos, el enfoque adoptado por Flexolmo, puede disminuir el rendimiento de su enrutador. Para abordar ese problema, la tecnología asigna a cada una de las redes neuronales su propio enrutador. Cuando los algoritmos se fusionan en un solo modelo MOE, sus enrutadores también se fusionan. Este acuerdo evita los problemas técnicos que de otro modo podrían surgir.

Los investigadores probaron si un hacker podría extraer datos de capacitación de las redes neuronales constituyentes de un modelo Flexolmo. “Nuestro análisis encontró una baja tasa de extracción del 0.7%”, escribieron. “A modo de comparación, un modelo sobrefiñado en un pequeño subconjunto de matemáticas para 100 épocas arrojó una tasa de extracción del 60%”.

Para evaluar las aplicaciones prácticas de Flexolmo, los investigadores lo usaron para capacitar a varios modelos de IA con hasta 37 mil millones de parámetros. Durante las pruebas, determinaron las instalaciones tecnológicas 10.1% mejor rendimiento del modelo que los enfoques anteriores para fusionar redes neuronales.

Imagen: Instituto Allen de Inteligencia Synthetic