Especificaciones técnicas de gpt-4o-mini-realtime-preview
| Especificación | Detalles |
|---|---|
| ID del modelo | gpt-4o-mini-realtime-preview |
| Proveedor | OpenAI a través de CometAPI |
| Modalidades | Texto, audio, imagen |
| Tipos de entrada | Audio en streaming, mensajes de texto, entradas de imagen |
| Tipos de salida | Texto en streaming, audio sintetizado/en streaming, llamadas a funciones estructuradas |
| Fortalezas clave | Interacción de baja latencia, comprensión multimodal, conversación en tiempo real, uso de herramientas |
| Ideal para | Asistentes de voz, llamadas de soporte en vivo, subtitulado, preguntas y respuestas visuales, agentes interactivos |
| Llamadas a funciones | Compatible |
| Transmisión | Compatible |
| Sesiones en tiempo real | Compatible |
| Patrón de interacción típico | Sesión bidireccional continua con entrada y salida incremental |
¿Qué es gpt-4o-mini-realtime-preview?
gpt-4o-mini-realtime-preview es un modelo multimodal en tiempo real diseñado para experiencias rápidas e interactivas en las que los usuarios hablan, escriben o comparten entradas visuales y esperan respuestas inmediatas. Es ideal para aplicaciones que necesitan comunicación en vivo de ida y vuelta en lugar de flujos estándar de solicitud/respuesta de un solo turno.
El modelo puede procesar voz, texto e imágenes en la misma experiencia, lo que lo hace útil para asistentes que escuchan a un interlocutor, inspeccionan contenido en pantalla o de cámara y responden en lenguaje natural o audio. Dado que admite entrada y salida en streaming, los desarrolladores pueden crear sistemas que se sientan receptivos durante interacciones en curso en lugar de esperar a una finalización completa.
También admite el uso de herramientas o llamadas a funciones, lo que permite al modelo activar acciones estructuradas como consultar datos, llamar a servicios de backend o ejecutar pasos de un flujo de trabajo. Esto convierte a gpt-4o-mini-realtime-preview en una opción sólida para agentes fundamentados y orientados a la acción en atención al cliente, operaciones, productividad y escenarios de asistentes multimodales.
Funciones principales de gpt-4o-mini-realtime-preview
- Interacción multimodal en tiempo real: acepta y responde mediante voz, texto e imágenes para experiencias fluidas en vivo.
- Audio bidireccional: admite interfaces de voz conversacionales donde el audio puede transmitirse y las respuestas pueden devolverse también en streaming.
- Respuestas en streaming: entrega salidas parciales de manera incremental, reduciendo la latencia percibida y mejorando la capacidad de respuesta.
- Comprensión visual: interpreta entradas visuales como fotogramas de cámara, capturas de pantalla u otras imágenes durante una sesión en vivo.
- Llamadas a funciones y herramientas: produce invocaciones estructuradas que permiten conectar el modelo con lógica de negocio, bases de datos o herramientas externas.
- Comportamiento interactivo del agente: funciona bien para asistentes que deben mantener el contexto turno a turno durante sesiones activas.
- Gestión de llamadas en vivo: útil para escenarios de teléfono o web que requieren comprensión rápida del habla y respuestas inmediatas.
- Flujos de subtitulado y transcripción en tiempo real: puede admitir experiencias que convierten voz continua en texto utilizable casi en tiempo real.
- Salidas estructuradas para acciones: ayuda a que las aplicaciones conviertan la intención conversacional en instrucciones confiables legibles por máquina.
- Experiencias de baja latencia para el usuario: optimizado para escenarios donde la capacidad de respuesta es clave, como soporte, coaching, monitorización y flujos guiados.
Cómo acceder e integrar gpt-4o-mini-realtime-preview
Paso 1: Regístrese para obtener una clave de API
Primero, cree una cuenta en CometAPI y genere su clave de API desde el panel. Esta clave es necesaria para autenticar cada solicitud. Guárdela de forma segura y evite exponerla en código del lado del cliente o repositorios públicos.
Paso 2: Conéctese a la API de gpt-4o-mini-realtime-preview
La API Realtime utiliza conexiones WebSocket. Conéctese al endpoint WebSocket de CometAPI:
const ws = new WebSocket(
"wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
{
headers: {
"Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
"OpenAI-Beta": "realtime=v1"
}
}
);
ws.on("open", () => {
ws.send(JSON.stringify({
type: "session.update",
session: {
modalities: ["text", "audio"],
instructions: "You are a helpful assistant."
}
}));
});
ws.on("message", (data) => {
console.log(JSON.parse(data));
});
Paso 3: Recuperar y verificar resultados
La API Realtime transmite respuestas a través de la conexión WebSocket como eventos enviados por el servidor. Escuche los eventos response.audio.delta para la salida de audio y response.text.delta para texto. Verifique que la sesión esté establecida y que las respuestas se estén transmitiendo correctamente.