GPT-4o mini Realtime Preview

Thông số kỹ thuật của gpt-4o-mini-realtime-preview

gpt-4o-mini-realtime-preview là gì?

gpt-4o-mini-realtime-preview là một mô hình đa phương thức thời gian thực được thiết kế cho các trải nghiệm nhanh, tương tác, nơi người dùng nói, nhập hoặc chia sẻ đầu vào trực quan và mong đợi phản hồi tức thì. Mô hình đặc biệt phù hợp với các ứng dụng cần giao tiếp qua lại trực tiếp thay vì luồng yêu cầu/đáp ứng một lượt tiêu chuẩn.

Mô hình có thể xử lý giọng nói, văn bản và hình ảnh trong cùng một trải nghiệm, giúp ích cho các trợ lý có thể lắng nghe người gọi, quan sát nội dung trên màn hình hoặc từ camera và phản hồi bằng ngôn ngữ tự nhiên hoặc âm thanh. Nhờ hỗ trợ phát trực tuyến đầu vào và đầu ra, nhà phát triển có thể xây dựng hệ thống mang lại cảm giác phản hồi liên tục trong suốt quá trình tương tác, thay vì chờ hoàn tất toàn bộ kết quả.

Mô hình cũng hỗ trợ gọi công cụ hoặc hàm, cho phép kích hoạt các hành động có cấu trúc như tra cứu dữ liệu, gọi dịch vụ backend hoặc thực thi các bước quy trình. Điều này khiến gpt-4o-mini-realtime-preview trở thành lựa chọn mạnh mẽ cho các tác tử định hướng hành động, có nền tảng dữ liệu trong các kịch bản hỗ trợ khách hàng, vận hành, năng suất và trợ lý đa phương thức.

Các tính năng chính của gpt-4o-mini-realtime-preview

• Tương tác đa phương thức thời gian thực: Nhận và phản hồi qua giọng nói, văn bản và hình ảnh để mang lại trải nghiệm trực tiếp mượt mà.
• Âm thanh hai chiều: Hỗ trợ giao diện hội thoại bằng giọng nói, nơi âm thanh có thể được truyền vào và phản hồi được truyền ngược lại.
• Phản hồi dạng luồng: Cung cấp đầu ra từng phần theo thời gian thực, giảm độ trễ cảm nhận và cải thiện độ phản hồi.
• Khả năng hiểu thị giác: Diễn giải đầu vào trực quan như khung hình từ camera, ảnh chụp màn hình hoặc hình ảnh khác trong phiên trực tiếp.
• Gọi hàm và công cụ: Tạo các lệnh gọi có cấu trúc để kết nối ứng dụng của bạn với logic nghiệp vụ, cơ sở dữ liệu hoặc công cụ bên ngoài.
• Hành vi tác tử tương tác: Phù hợp cho trợ lý cần duy trì ngữ cảnh theo lượt trong các phiên đang hoạt động.
• Xử lý cuộc gọi trực tiếp: Hữu ích cho các kịch bản cuộc gọi điện thoại hoặc web cần hiểu giọng nói nhanh và phản hồi tức thì.
• Luồng công việc phụ đề và chép lời thời gian thực: Hỗ trợ chuyển lời nói đang diễn ra thành văn bản sử dụng được gần như theo thời gian thực.
• Đầu ra có cấu trúc cho hành động: Giúp ứng dụng chuyển ý định hội thoại thành hướng dẫn có thể đọc được bởi máy một cách đáng tin cậy.
• Trải nghiệm người dùng độ trễ thấp: Tối ưu cho các tình huống cần độ phản hồi cao, như hỗ trợ, huấn luyện, giám sát và quy trình hướng dẫn.

Cách truy cập và tích hợp gpt-4o-mini-realtime-preview

Bước 1: Đăng ký để lấy API key

Trước tiên, tạo tài khoản trên CometAPI và tạo API key từ bảng điều khiển. Khóa này được dùng để xác thực mọi yêu cầu. Hãy lưu trữ an toàn và tránh lộ trên mã phía client hoặc kho công khai.

Bước 2: Kết nối tới API gpt-4o-mini-realtime-preview

Realtime API sử dụng kết nối WebSocket. Kết nối tới endpoint WebSocket của CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Bước 3: Nhận và xác minh kết quả

Realtime API truyền phát phản hồi qua kết nối WebSocket dưới dạng các sự kiện do máy chủ gửi. Lắng nghe các sự kiện response.audio.delta cho đầu ra âm thanh và response.text.delta cho văn bản. Xác minh rằng phiên đã được thiết lập và phản hồi đang được phát trực tuyến đúng cách.