En Tesco Expertise, el diseño de una plataforma de simulación interna compleja para las decisiones de alto riesgo dejó en claro una cosa: incluso las herramientas de IA más avanzadas pueden ser engañosas si no son intuitivas, fáciles de usar y no están diseñadas para trabajar para los humanos que los usan. Esto planteó una pregunta elementary: ¿cómo podemos hacer que las herramientas avanzadas basadas en datos sean realmente centradas en el usuario? Para responder a esto, necesitábamos diseñar un marco para sistemas de IA complejos que cayera la brecha entre el diseño centrado en los humanos y el desarrollo de IA.
Este marco práctico ayuda a los diseñadores, científicos de datos e ingenieros a encontrar un terreno común. Alinea la voz y las necesidades de los usuarios con el diseño de sistemas de IA, asegurando que las concepts humanas influyan no solo en las interfaces sino también la lógica y el comportamiento subyacentes de las herramientas de IA, para que los usuarios confíen y realmente disfrutan de usarlas. Este marco lo guía a través de cada fase del desarrollo de productos, desde la investigación temprana hasta la retroalimentación posterior al lanzamiento, destacando dónde y cómo los humanos deben estar ‘en’ y ‘en’ el bucle. Esto permite sistemas complejos de IA complejos no solo funcionales, sino transparentes, aprendices y confiables, diseñados para apoyar la toma de decisiones, no reemplazar a los tomadores de decisiones humanos, especialmente en contextos estratégicos y sin antecedentes de ciencia de datos.
Introducción
En el mundo del diseño, a menudo nos referimos al diseño centrado en el ser humano, un enfoque centrado en la empatía, la usabilidad y la resolución de problemas reales de los usuarios, pero en la ciencia e ingeniería de datos, los usuarios a menudo se consideran tarde en el proceso, generalmente como validadores de las entradas. Si bien algunos equipos aún priorizan la viabilidad técnica, idealmente, el diseño del sistema debe estar impulsado por las necesidades y la comprensión de los usuarios.
Esto a menudo se ve en términos del concepto de determinismo tecnológico, que establece que las personas, la cultura y la economía evolucionan como resultado del progreso tecnológico. En contraste, la construcción social de la tecnología sugiere que las personas dan forma a la tecnología para causar cambios, en lugar de al revés. Sin embargo, en la práctica, el desarrollo de la tecnología a menudo está influenciado por limitaciones como la disponibilidad de datos, las limitaciones del sistema o las prioridades organizacionales, en lugar de únicamente por las necesidades ideales del usuario o los objetivos sociales. Este marco está más en línea con la construcción social de la tecnología, en la que los usuarios dan forma activamente a la evolución del sistema en lugar de se adaptan pasivamente a él, lo que es necesario en contextos estratégicos.
Términos generales
Humano en el bucle (HITL): Los humanos participan activamente en el proceso de toma de decisiones. Pregunte: “¿El usuario tiene que dar forma o aprobar las acciones de la IA antes de que sean tomadas?”
Human-on-the-loop (hotl): Los humanos brindan comentarios y supervisión después de que la IA haya tomado una decisión. Pregunte: “¿El usuario monitorea, interpreta o mejora la salida de la IA?”
Generativo-AI (Genai) y modelos de idiomas grandes (LLM): Métodos computacionales para generar contenido nuevo como texto, imágenes, código, video o audio a partir de datos de capacitación. Además, pueden servir como asistentes de múltiples agentes que pueden ejecutar múltiples tareas a escala.
Diamante doble (DD): Una descripción clara, completa y visible del proceso de diseño. Incluye descubrir, definir, desarrollar, entregar fases.
Los sistemas de IA que operan sin supervisión humana pueden ser poderosos pero también engañosos, especialmente en áreas de alto riesgo con decisiones estratégicas (por ejemplo, salud, finanzas). Las estructuras HOTL proporcionan un equilibrio very important entre autonomía y responsabilidad. Los humanos monitorean las operaciones de IA, intervienen cuando sea necesario y garantizan la seguridad, el cumplimiento ético y la mejora continua del sistema. A diferencia de los sistemas totalmente automatizados, HOTL asigna a los humanos un papel de supervisión, como monitoreo, guía e intervención en momentos críticos, al tiempo que permite que la IA funcione sin problemas en el fondo.
Por que importa
Sin controles y límites adecuados, la IA puede tomar decisiones sesgadas o no dañinas. HOTL asegura que los expertos humanos proporcionen juicios cualitativos e concepts contextuales que pueden no ser capturadas en los datos o disponibles para el sistema. Esta supervisión no solo scale back el riesgo, sino que también les da a los humanos juicios matizados que la IA no puede manejar solo. La inclusión de la supervisión humana aumenta la confianza al proporcionar comentarios continuos que mejoren la IA con el tiempo.
Marco con acciones clave
1. Investigación y exploración
DD: Descubre
Hotl Focus: el usuario Perception informa el diseño de modelo y herramientas.
Antes de escribir código o diseñar pantallas, sumérjase en el mundo del usuario. Su contexto, necesidades, entorno, problemas y comportamientos debe impulsar su dirección técnica y estrategia de datos.
- Realizar investigación cualitativa y cuantitativa.
- Reunir el contexto del usuario, los patrones de comportamiento y las experiencias de los usuarios.
- Mapee los viajes de los usuarios a los puntos de dolor, necesidades y motivaciones de superficie.
- Integre las herramientas de investigación livianas en la plataforma (por ejemplo, micro-surveys, comentarios sobre el proceso).
- Determinar la frecuencia de retroalimentación óptima.
2. Comunicaciones e diseño de interfaz
DD: Definir
HOTL: Interfaces guía y estimulan la interacción humana con los modelos.
Definir claramente problemas y estructuras del sistema para tareas de simulación. Aclarar las interacciones y demostrar el comportamiento del sistema para reducir la carga cognitiva.
- Traducir la investigación en decisiones de diseño procesables al capacitar a los usuarios para actuar, aprender e intervenir de manera significativa.
- Traducir la investigación en definiciones de problemas claras y patrones de interacción del sistema.
- Diseñar e implementar 5 tipos de comunicaciones: ○ Advertencias (por ejemplo, alertas de error) ○ Avisos (por ejemplo, alertas de finalización, notificaciones por correo electrónico) ○ Indicadores de estado (por ejemplo, carga, éxito, pendiente) ○ Mensajes de capacitación ○ Mensajes de política.
- Use señales visuales para administrar la carga cognitiva del usuario (colour, iconos, animación) para indicar certeza, confianza o urgencia.
2.1. Entradas de datos y mecanismos de confianza
DD: Definir – Desarrollar
2.1.1. Preprocesamiento de datos
HOTL: El sistema alerta a los usuarios, pero no se requiere toma de decisiones activas.
- Automatice el preprocesamiento cuando sea posible para reducir el trabajo handbook.
- Notifique a los usuarios de errores de carga o formatos no válidos.
- Crear guías de entrada del modelo transparente.
2.1.2. Entradas que guían el comportamiento del sistema (por ejemplo, parámetros de escenario o límites de decisión)
HITL: los usuarios dan forma a las entradas y establecen controles.
- Segments usuarios basados en sus roles y nivel de experiencia.
- Permitir que los usuarios expertos establezcan variables de simulación manualmente.
Proporcionar preajustes para principiantes.
2.1.3. Validador de salida
HITL: Establecer umbrales de aprobación para resultados de alto riesgo antes de tomar cualquier acción.
- Implementar puntos de management donde se requiere la aprobación del usuario.
- Cree pistas de auditoría para decisiones de usuario para diferentes segmentos de usuario (quién aprobó qué y cuándo).
- Crear guías de salida del modelo transparente.
2.1.4. Confianza y seguridad en el bucle
HOTL: El equipo identifica anomalías y outline umbrales que requieren revisión del usuario.
Definir umbrales que desencadenan la validación obligatoria del usuario.
Rastree los errores de validación a lo largo del tiempo para mejorar la lógica o la necesidad de realizar y desarrollar capacitación adicional.
3. Procesamiento de comunicación
DD: Desarrollar – entregar
HOTL: La retroalimentación debe ser clara y aplicable en la práctica.
Solo mostrar resultados no es suficiente, es importante explicar a los usuarios su significado y qué hacer a continuación. Es necesario conocer la capacidad del usuario para comprender la comunicación. Proporcione experiencias de aprendizaje donde los usuarios no solo puedan comprender el mensaje, sino también aprender qué hacer en respuesta a él.
- Diseñe mensajes con claridad, relevancia y acción.
- Incluya explicaciones o enlaces para obtener más ayuda.
- Realizar pruebas de usuario sobre la efectividad de la mensajería.
- Rastree las métricas para la comprensión y la respuesta adecuada del usuario.
4. Jerarquía de plataformas y navegación
DD: entregar
HOTL: Ayuda a los usuarios en entornos complejos.
A medida que los sistemas se vuelven más complejos, la navegación intuitiva y la claridad se vuelven críticas. Una arquitectura de información clara permite a los usuarios saber dónde encontrar contenido (por ejemplo, diseño intuitivo, accesibilidad).
- Desarrollar la navegación intuitiva y la agrupación de contenido.
- Cree un mapa del sitio con secciones (por ejemplo, capacitación, retroalimentación, soporte).
- Validar la estructura con pruebas de clasificación de tarjetas y usabilidad.
- Agregue una función de búsqueda.
- Mantenga la consistencia en los viajes del usuario para lograr objetivos clave del usuario.
5.1. Capacitación
DD: entregar
HOTL: la incorporación y el entrenamiento admiten un compromiso más profundo.
Los usuarios necesitan confianza para comprometerse profundamente con los modelos. Esto se puede lograr a través de un excelente entrenamiento y refuerzo. Es necesario crear diferentes tipos de materiales de capacitación, para principiantes y profesionales. Esto puede incluir contenido de video, estudios de casos exitosos y actualizaciones.
- Cree contenido de aprendizaje multinivel (de introductorio a avanzado).
- Grabe movies tutoriales cortos, tutoriales y muestre casos de uso exitosos.
- Envíe notificaciones a los usuarios sobre contenido nuevo /adicional (a través de mensajes en la aplicación, correo electrónico, alertas).
- Ejecute pruebas de usabilidad para validar la eficacia del aprendizaje.
5.2. Aplicación de conocimiento
Promover:
- Retención de conocimiento, cuando el usuario puede recordar un mensaje cuando surge una situación en la que ese conocimiento debe aplicarse.
- Transferencia de conocimiento, cuando el usuario puede reconocer situaciones en las que un mensaje es aplicable y comprender cómo aplicarlo.
Acciones clave:
- Cree mecanismos para el aprendizaje continuo (por ejemplo, consejos incorporados, indicaciones y orientación contextuales).
- Reforzar el aprendizaje con micro recordatorios periódicos.
- Crea escenarios de práctica.
- Realizar pruebas de usuarios para garantizar la efectividad.
6.1. Bucles de retroalimentación
DD: Redescubrimiento – Redefine
HOTL: Los comentarios de los usuarios ayudan a mejorar el sistema continuamente.
Un sistema vivo evoluciona con sus usuarios, por lo que la retroalimentación no debería ser una ocurrencia tardía; Debería ser una función del sistema. Es necesario crear un mecanismo para garantizar una mejora continua basada en las interacciones y la retroalimentación del usuario mediante la organización de la recopilación de información posterior a la implementación, el sistema integrador y los bucles de retroalimentación humana (combinando la entrada del sistema humano +).
- Cree mecanismos para la recopilación continua de comentarios de los usuarios (por ejemplo, encuestas posteriores a la tarea, consejos y orientación incorporados).
- Configure la recopilación de comentarios automatizados en función de los datos de uso del sistema (por ejemplo, desencadenante de error, abra automáticamente una ventana para enviar comentarios al equipo).
- Programe revisiones de comentarios periódicos con equipos interfuncionales.
- Configure los paneles para el análisis de retroalimentación.
- Actualice el sistema de forma iterativo en función de las concepts del mundo actual.
6.2. Mejora continua
- La versión del documento cambia con registros de cambio visibles para los usuarios.
6.3. Modelado de datos
HITL: los usuarios ajustan o seleccionan escenarios.
- Integre los bucles de retroalimentación donde los usuarios corrigen, validen o seleccionen el mejor escenario.
7. Personalización
DD: redescubrimiento
HOTL: la relevancia contextual mejora la usabilidad y la comprensión.
Cree experiencias de usuario personalizadas basadas en el papel del usuario. Las experiencias personalizadas aumentan la adopción y la satisfacción.
- Segmento usuarios y entregar elementos de interfaz de usuario basados en roles.
- Adapte la profundidad y la frecuencia de entrenamiento por grupo de usuarios.
- Recomendar el contenido dinámicamente basado en acciones pasadas, errores, comentarios o preguntas formuladas.
8. Colaboración
DD: Redefine – Desarrollar
HITL: Los usuarios son colaboradores, no solo validadores.
Involucre a los usuarios y a su equipo en el proceso de mejora iterativa. Sus concepts son críticas para mejorar los sistemas de IA.
- Configure las sesiones de retroalimentación y los talleres de co-creación con diferentes segmentos de los usuarios.
- Fomentar la colaboración interdisciplinaria (diseño, ingeniería, ciencia de datos, gestión).
- Cree y mantenga un documento compartido para información y comentarios en curso de los usuarios.
- Establecer un marco para priorizar e implementar sugerencias.
Conclusión
El diseño centrado en el ser humano es más que un flujo de trabajo; Es una filosofía que reconoce a los usuarios como cocreadores de AI Methods. Al integrar el pensamiento de diseño y el aprendizaje automático, este marco garantiza que la tecnología sirva a las personas, no al revés. Esto significa crear interfaces intuitivas que capacitan a los usuarios a través de la incorporación de transparencia, confianza y comentarios continuos.
En una palabra:
