GPT-4o mini Realtime Preview

gpt-4o-mini-realtime-preview의 기술 사양

gpt-4o-mini-realtime-preview란?

gpt-4o-mini-realtime-preview는 사용자가 말하거나, 입력하거나, 시각 정보를 공유할 때 즉각적인 응답을 기대하는 빠르고 인터랙티브한 경험을 위해 설계된 실시간 멀티모달 모델입니다. 단일 턴의 요청/응답 워크플로보다 라이브로 주고받는 커뮤니케이션이 필요한 애플리케이션에 적합합니다.

이 모델은 하나의 경험 안에서 음성, 텍스트, 이미지를 함께 처리할 수 있어, 발신자의 말을 듣고 화면이나 카메라 콘텐츠를 살펴본 뒤 자연어 또는 오디오로 응답하는 어시스턴트에 유용합니다. 입력과 출력을 스트리밍 방식으로 지원하므로, 전체 결과를 기다리지 않고도 진행 중인 상호작용 동안 즉각적인 반응성을 제공하는 시스템을 구축할 수 있습니다.

또한 도구 또는 함수 호출을 지원하여, 데이터 조회, 백엔드 서비스 호출, 워크플로 단계 실행 등과 같은 구조화된 작업을 트리거할 수 있습니다. 이를 통해 고객 지원, 운영, 생산성, 멀티모달 어시스턴트 등에서 근거 기반의 실행 지향 에이전트를 구축하는 데 적합한 선택이 됩니다.

gpt-4o-mini-realtime-preview의 주요 기능

• 실시간 멀티모달 상호작용: 음성, 텍스트, 이미지를 통해 유연한 라이브 경험을 제공하고 응답합니다.
• 양방향 오디오: 오디오를 스트리밍 입력하고 스트리밍 출력하는 대화형 음성 인터페이스를 지원합니다.
• 스트리밍 응답: 부분 출력을 점진적으로 전달하여 지연을 줄이고 반응성을 개선합니다.
• 시각 이해: 라이브 세션 중 카메라 프레임, 스크린샷, 기타 이미지 등 시각 입력을 해석합니다.
• 함수 및 도구 호출: 애플리케이션이 비즈니스 로직, 데이터베이스, 외부 도구와 연결될 수 있도록 구조화된 호출을 생성합니다.
• 대화형 에이전트 동작: 활성 세션 중 턴 단위 컨텍스트를 유지해야 하는 어시스턴트에 적합합니다.
• 라이브 콜 처리: 빠른 음성 이해와 즉각적인 응답이 필요한 전화/웹콜 시나리오에 유용합니다.
• 실시간 캡션 및 전사 워크플로: 진행 중인 음성을 거의 실시간으로 유용한 텍스트로 변환하는 경험을 지원합니다.
• 작업을 위한 구조화된 출력: 대화 의도를 신뢰할 수 있는 기계 판독 가능한 지시로 전환하도록 돕습니다.
• 저지연 사용자 경험: 지원, 코칭, 모니터링, 가이드형 워크플로 등 응답성이 중요한 시나리오에 최적화되어 있습니다.

gpt-4o-mini-realtime-preview에 접근하고 통합하는 방법

1단계: API 키 발급을 위해 가입

먼저 CometAPI에 계정을 생성하고 대시보드에서 API 키를 발급하세요. 이 키는 모든 요청을 인증하는 데 필요합니다. 안전하게 보관하고 클라이언트 측 코드나 공개 저장소에 노출하지 마세요.

2단계: gpt-4o-mini-realtime-preview API에 연결

Realtime API는 WebSocket 연결을 사용합니다. CometAPI의 WebSocket 엔드포인트에 연결하세요:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "당신은 도움이 되는 어시스턴트입니다."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

3단계: 결과 수신 및 검증

Realtime API는 WebSocket 연결을 통해 서버 전송 이벤트 형태로 응답을 스트리밍합니다. 오디오 출력은 response.audio.delta, 텍스트는 response.text.delta 이벤트를 수신하세요. 세션이 정상적으로 설정되고 응답이 올바르게 스트리밍되는지 확인하세요.