GPT-4o mini Realtime Preview

Especificações técnicas de gpt-4o-mini-realtime-preview

O que é gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview é um modelo multimodal em tempo real projetado para experiências rápidas e interativas, nas quais os usuários falam, digitam ou compartilham entrada visual e esperam respostas imediatas. Ele é ideal para aplicações que precisam de comunicação ao vivo, de mão dupla, em vez de fluxos padrão de solicitação/resposta de uma única etapa.

O modelo pode processar fala, texto e imagens na mesma experiência, tornando-o útil para assistentes que ouvem um interlocutor, inspecionam conteúdo na tela ou da câmera e respondem em linguagem natural ou áudio. Como ele oferece suporte a entrada e saída em streaming, os desenvolvedores podem criar sistemas que pareçam responsivos durante interações em andamento, em vez de esperar por uma conclusão completa.

Ele também oferece suporte a chamadas de ferramentas ou funções, o que permite ao modelo acionar ações estruturadas, como consultar dados, chamar serviços de backend ou executar etapas de fluxo de trabalho. Isso torna o gpt-4o-mini-realtime-preview uma ótima opção para agentes orientados à ação e fundamentados em suporte ao cliente, operações, produtividade e cenários de assistentes multimodais.

Principais recursos de gpt-4o-mini-realtime-preview

• Interação multimodal em tempo real: aceita e responde por fala, texto e imagens para experiências ao vivo mais fluidas.
• Áudio bidirecional: oferece suporte a interfaces de voz conversacionais em que o áudio pode ser transmitido e as respostas podem ser transmitidas de volta.
• Respostas em streaming: fornece saídas parciais de forma incremental, reduzindo a latência percebida e melhorando a responsividade.
• Compreensão de visão: interpreta entradas visuais como quadros de câmera, capturas de tela ou outras imagens durante uma sessão ao vivo.
• Chamadas de funções e ferramentas: produz chamadas estruturadas que permitem ao seu aplicativo conectar o modelo à lógica de negócio, bancos de dados ou ferramentas externas.
• Comportamento de agente interativo: funciona bem para assistentes que precisam manter contexto turno a turno durante sessões ativas.
• Atendimento de chamadas ao vivo: útil para cenários de telefone ou web com compreensão rápida de fala e respostas imediatas.
• Fluxos de legendagem e transcrição em tempo real: pode dar suporte a experiências que convertem fala contínua em texto utilizável quase em tempo real.
• Saídas estruturadas para ações: ajuda aplicativos a transformar intenção conversacional em instruções confiáveis legíveis por máquina.
• Experiências do usuário com baixa latência: otimizado para cenários em que a responsividade é fundamental, como suporte, orientação, monitoramento e fluxos guiados.

Como acessar e integrar gpt-4o-mini-realtime-preview

Etapa 1: Cadastre-se para obter uma chave de API

Primeiro, crie uma conta na CometAPI e gere sua chave de API no painel. Essa chave é necessária para autenticar todas as solicitações. Armazene-a com segurança e evite expô-la em código do lado do cliente ou repositórios públicos.

Etapa 2: Conecte-se à API gpt-4o-mini-realtime-preview

A Realtime API usa conexões WebSocket. Conecte-se ao endpoint WebSocket da CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Etapa 3: Recuperar e verificar os resultados

A Realtime API transmite respostas pela conexão WebSocket como eventos enviados pelo servidor. Ouça por eventos response.audio.delta para saída de áudio e response.text.delta para texto. Verifique se a sessão foi estabelecida e se as respostas estão sendo transmitidas corretamente.