OpenAI ha lanzado dos nuevos modelos en tiempo real en su API. Se denominan gpt-realtime-2.1 y gpt-realtime-2.1-mini. Ambos apuntan a experiencias multimodales y de voz de baja latencia. El modelo mini es la parte notable de este lanzamiento. Es un mini modelo de razonamiento para voz en tiempo real. Se envía al mismo coste que el anterior gpt-realtime-mini. OpenAI también redujo la latencia de p95 en al menos un 25 % en los modelos de voz en tiempo real. Esa reducción proviene de un almacenamiento en caché mejorado.
¿Qué es GPT-Realtime-2.1-mini?
gpt-realtime-2.1-mini es un mini modelo de razonamiento para interacciones de voz en tiempo real. Responde a entradas de audio y texto a través de una conexión en vivo. OpenAI lo posiciona como la opción más rápida y rentable de su gama.
La API en tiempo real procesa y genera audio a través de un único modelo. Esto evita encadenar sistemas separados de voz a texto y de texto a voz. Ese diseño de modelo único reduce la latencia y preserva los matices del habla.
El razonamiento es la capacidad principal aquí. Significa que el modelo puede pensar internamente antes de hablar. El mini nivel también admite el uso de herramientas o llamadas de funciones a través de la API en tiempo real. Juntos, permiten que el mini modelo planifique un paso, llame a su función y luego responda.
El hermano mayor es gpt-realtime-2.1. Actualiza GPT-Realtime-2 con reconocimiento alfanumérico mejorado. También mejora el manejo del silencio y el ruido, y el comportamiento de interrupción. Admite habla a voz con esfuerzo de razonamiento configurable, seguimiento de instrucciones y uso de herramientas.
Una forma rápida de elegir entre ellos: use gpt-realtime-2.1 cuando desee el razonamiento en tiempo real, el uso de herramientas, el seguimiento de instrucciones y el comportamiento del agente de voz más sólidos. Utilice gpt-realtime-2.1-mini cuando desee una opción más rápida y rentable.
Los agentes de voz a menudo se detienen durante las llamadas a herramientas. El modelo activa una llamada de función y luego se queda en silencio. Los usuarios asumen que la llamada se cortó y la interrumpen. Eso crea resultados parciales y un estado de conversación confuso.
El razonamiento y un preámbulo hablado solucionan este patrón. El modelo puede decir “Revisaré esa orden ahora” antes de actuar. Sigue hablando mientras procesa una solicitud. Ese comportamiento mantiene coherentes las tareas de voz de varios pasos.
El esfuerzo de razonamiento se puede configurar en todos los niveles. Los desarrolladores pueden seleccionar mínimo, bajo, medio, alto o alto. Baja es la opción predeterminada y mantiene baja la latencia para giros simples. Un mayor esfuerzo aumenta la latencia y el uso del token de salida. OpenAI recomienda comenzar desde abajo para la mayoría de los agentes de voz de producción.
La mejora de la latencia y el almacenamiento en caché
La latencia p95 es el tiempo de respuesta del percentil 95. Capta la cola lenta que realmente sienten los usuarios. Un recorte de al menos el 25% en esa cola ayuda a vivir la voz. El almacenamiento en caché mejorado impulsa esta reducción en los modelos de voz en tiempo real.
El almacenamiento en caché también reduce los costos, no sólo la latencia. Los tokens de entrada almacenados en caché se facturan con un gran descuento. Para gpt-realtime-2.1-mini, la entrada de audio en caché se reduce a $0,30 por 1 millón. En comparación, la entrada de audio nueva cuesta $10,00 por 1 millón. Las sesiones largas son las que más se benefician, porque el mensaje del sistema se almacena en caché después del primer turno.
Precios y comparación
El precio es por 1 millón de tokens, dividido por texto, audio e imagen. El mini mantiene la tarifa mini anterior añadiendo razonamiento. La siguiente tabla enumera las cifras publicadas.
La tarifa de salida de audio mini es de $20,00 por 1 millón. El gpt-realtime-2.1 completo cobra $64,00 por lo mismo. Eso es aproximadamente una brecha de 3x en la salida de audio. Los equipos pueden intercambiar alguna capacidad por un costo menor sin dejar de razonar.
Casos de uso con ejemplos
Clasificación de atención al cliente: una persona que llama informa un error de facturación por teléfono. El modelo mini razona sobre el tema del bajo esfuerzo. Llama a una herramienta lookup_account y luego a una herramienta check_invoice. Narra cada paso para que la persona que llama se mantenga informada. Programación de citas: Un usuario solicita mover una reserva al próximo martes. El modelo captura la fecha exacta carácter por carácter. Confirma los detalles y luego llama a una función de reprogramación. Los valores confirmados evitan llamadas a herramientas en entradas adivinadas. Asistente de voz en la aplicación: una aplicación móvil transmite el audio del micrófono a través de WebRTC. El mini modelo responde a las preguntas sobre el producto en una o dos frases cortas. El menor costo permite que la función se ejecute a mayor volumen. Captura de datos de campo: un técnico le pide al agente que registre un número de pieza. El reconocimiento alfanumérico mejorado ayuda a capturar códigos como ‘8-3-5-7-1’. El modelo lee el valor para confirmarlo antes de actuar.
Implementación mínima
Los clientes del navegador se conectan a través de WebRTC. Su servidor crea primero un secreto de cliente de corta duración. Luego, el navegador se conecta directamente a la API en tiempo real. Las canalizaciones de medios del servidor utilizan WebSockets y la telefonía utiliza SIP.
Primero, el servidor crea un secreto de cliente efímero. Mantenga su clave API estándar en el servidor. La configuración de la sesión establece el modelo, un bajo esfuerzo de razonamiento y una herramienta.
{
type: “function”,
name: “lookup_account”,
description: “Look up a customer account by email.”,
parameters: {
type: “object”,
properties: { email: { type: “string” } },
required: [“email”]
} } ], elección_herramienta: “automático” } }) }); const {valor: EPHEMERAL_KEY} = esperar r.json(); // pasa esto al navegador
A continuación, el navegador abre una conexión de igual WebRTC. Agrega la pista de micrófono y un canal de datos para eventos. Luego publica su oferta SDP en el punto final de la llamada.
Empiece a razonar con un esfuerzo bajo y luego increméntelo sólo para tareas más difíciles. Agregue instrucciones breves que separen las reglas estrictas de las predeterminadas. Ejecute evaluaciones antes y después de cualquier migración de modelo.
Fortalezas y debilidades
Fortalezas:
El razonamiento ahora alcanza el nivel mini de bajo costo. El precio coincide con la tarifa gpt-realtime-mini anterior. La latencia de p95 se ha reducido al menos un 25 % en los modelos de voz en tiempo real. El esfuerzo de razonamiento configurable intercambia latencia por profundidad por tarea. El canal de audio de un solo modelo mantiene las conversaciones naturales.
Debilidades:
El precio del token de audio es difícil de convertir en costo por llamada. Un mayor esfuerzo de razonamiento aumenta tanto la latencia como los tokens de salida. Las sesiones largas vuelven a presentar el contexto y aumentan el costo de los insumos sin podar. El mini nivel intercambia algunas capacidades con el gpt-realtime-2.1 completo.
Explicador interactivo
Consulta los detalles técnicos aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.