Google Research propone una nueva forma de crear software accesible con interfaces nativas adaptables (NAI), un marco agente en el que un agente de IA multimodal se convierte en la interfaz de usuario principal y adapta la aplicación en tiempo real a las habilidades y el contexto de cada usuario.
En lugar de enviar una interfaz de usuario fija y agregar accesibilidad como una capa separada, NAI incorpora la accesibilidad a la arquitectura central. El agente observa, razona y luego modifica la propia interfaz, pasando de un diseño único a decisiones basadas en el contexto.
¿Qué cambian las interfaces de adaptación nativa (NAI) en la pila?
NAI parte de una premisa simple: si una interfaz está mediada por un agente multimodal, la accesibilidad puede ser manejada por ese agente en lugar de menús y configuraciones estáticas.
Las propiedades clave incluyen:
El agente de IA multimodal es la superficie principal de la interfaz de usuario. Puede ver texto, imágenes y diseños, escuchar voz y generar texto, voz u otras modalidades. La accesibilidad está integrada en este agente desde el principio, no se incorpora más adelante. El agente es responsable de adaptar la navegación, la densidad de contenidos y el estilo de presentación a cada usuario. El proceso de diseño está explícitamente centrado en el usuario, y las personas con discapacidades son tratadas como usuarios periféricos que definen los requisitos para todos, no como una ocurrencia tardía.
El marco apunta a lo que el equipo de Google llama la ‘brecha de accesibilidad’: el desfase entre agregar nuevas funciones de producto y hacerlos utilizables para personas con discapacidades. La incorporación de agentes en la interfaz tiene como objetivo reducir esta brecha al permitir que el sistema se adapte sin esperar complementos personalizados.
Arquitectura del agente: orquestador y herramientas especializadas
Según NAI, la interfaz de usuario está respaldada por un sistema de múltiples agentes. El patrón central es:
Un agente de Orchestrator mantiene un contexto compartido sobre el usuario, la tarea y el estado de la aplicación. Los subagentes especializados implementan capacidades enfocadas, como el resumen o la adaptación de la configuración. Un conjunto de patrones de configuración define cómo detectar la intención del usuario, agregar contexto relevante, ajustar la configuración y corregir consultas defectuosas.
Por ejemplo, en los estudios de caso de NAI sobre videos accesibles, el equipo de Google describe las capacidades principales del agente, como:
Comprender la intención del usuario. Refine las consultas y administre el contexto en todos los turnos. Indicaciones del ingeniero y llamadas de herramientas de manera consistente.
Desde el punto de vista de los sistemas, esto reemplaza los árboles de navegación estáticos con módulos dinámicos controlados por agentes. El ‘modelo de navegación’ es efectivamente una política sobre qué subagente ejecutar, con qué contexto y cómo mostrar su resultado en la interfaz de usuario.
Gemini multimodal y RAG para vídeo y entornos
NAI se basa explícitamente en modelos multimodales como Gemini y Gemma que pueden procesar voz, texto e imágenes en un solo contexto.
En el caso del vídeo accesible, Google describe un proceso de dos etapas:
Indexación fuera de línea El sistema genera descriptores visuales y semánticos densos en la línea de tiempo del video. Estos descriptores se almacenan en un índice codificado por tiempo y contenido. Generación aumentada de recuperación en línea (RAG) En el momento de la reproducción, cuando un usuario hace una pregunta como “¿Qué lleva puesto el personaje en este momento?”, el sistema recupera descriptores relevantes. Un modelo multimodal condiciona estos descriptores más la pregunta para generar una respuesta descriptiva y concisa.
Este diseño admite consultas interactivas durante la reproducción, no solo pistas de descripción de audio pregrabadas. El mismo patrón se generaliza a escenarios de navegación física donde el agente necesita razonar sobre una secuencia de observaciones y consultas de los usuarios.
Prototipos NAI de hormigón
El trabajo de investigación de NAI de Google se basa en varios prototipos implementados o pilotos construidos con organizaciones asociadas como RIT/NTID, The Arc of the United States, RNID y Team Gleason.
StreetReaderAI
Diseñado para usuarios ciegos y con baja visión que navegan en entornos urbanos. Combina un descriptor de IA que procesa datos geoespaciales y de cámaras con una interfaz de chat de IA para consultas en lenguaje natural. Mantiene un modelo temporal del entorno, que permite consultas como “¿Dónde estaba esa parada de autobús?” y responde como “Está detrás de ti, a unos 12 metros de distancia”.
Reproductor de vídeo de agente multimodal (MAVP)
Centrado en la accesibilidad de vídeos online. Utiliza el canal RAG basado en Gemini anterior para proporcionar descripciones de audio adaptables. Permite a los usuarios controlar la densidad descriptiva, interrumpir la reproducción con preguntas y recibir respuestas basadas en contenido visual indexado.
Laboratorio de Gramática
Una plataforma de aprendizaje bilingüe (lenguaje de signos americano e inglés) creada por RIT/NTID con el apoyo de Google.org y Google. Utiliza Gemini para generar preguntas individualizadas de opción múltiple. Presenta contenido a través de video en ASL, subtítulos en inglés, narración hablada y transcripciones, adaptando la modalidad y la dificultad a cada alumno.
Proceso de diseño y efectos de acera.
La documentación de NAI describe un proceso estructurado: investigar, construir y perfeccionar, luego iterar en función de la retroalimentación. En un estudio de caso sobre accesibilidad de vídeo, el equipo:
Usuarios objetivo definidos en un espectro desde completamente ciego hasta vidente. Realicé sesiones de codiseño y pruebas de usuario con unos 20 participantes. Pasó por más de 40 iteraciones informadas por 45 sesiones de retroalimentación.
Se espera que las interfaces resultantes produzcan un efecto de reducción de acera. Las funciones creadas para usuarios con discapacidades (como una mejor navegación, interacciones de voz y resúmenes adaptativos) a menudo mejoran la usabilidad para una población mucho más amplia, incluidos los usuarios sin discapacidades que enfrentan presión de tiempo, carga cognitiva o limitaciones ambientales.
Conclusiones clave
El agente es la interfaz de usuario, no un complemento: las interfaces adaptables nativas (NAI) tratan a un agente de IA multimodal como la capa de interacción principal, por lo que la accesibilidad la maneja el agente directamente en la interfaz de usuario principal, no como una superposición separada o una característica post-hoc. Arquitectura de orquestador + subagentes: NAI utiliza un orquestador central que mantiene el contexto compartido y enruta el trabajo a subagentes especializados (por ejemplo, resumen o adaptación de configuraciones), convirtiendo árboles de navegación estáticos en módulos dinámicos controlados por agentes. Multimodal Gemini + RAG para experiencias adaptativas: prototipos como el reproductor de video Multimodal Agent crean índices visuales densos y utilizan generación de recuperación aumentada con Gemini para admitir preguntas y respuestas interactivas y fundamentadas durante la reproducción de video y otros escenarios de medios enriquecidos. Sistemas reales: StreetReaderAI, MAVP, Grammar Laboratory: NAI está instanciado en herramientas concretas: StreetReaderAI para navegación, MAVP para accesibilidad de video y Grammar Laboratory para aprendizaje de ASL/inglés, todos impulsados por agentes multimodales. Accesibilidad como restricción central de diseño: el marco codifica la accesibilidad en patrones de configuración (detectar intención, agregar contexto, ajustar configuraciones) y aprovecha el efecto de reducción, donde resolver para usuarios discapacitados mejora la solidez y la usabilidad para una base de usuarios más amplia.
Consulta los detalles técnicos aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.