ข้อมูลจำเพาะทาง技术ของ gpt-4o-mini-realtime-preview
| ข้อกำหนด | รายละเอียด |
|---|---|
| Model ID | gpt-4o-mini-realtime-preview |
| Provider | OpenAI ผ่าน CometAPI |
| Modalities | ข้อความ เสียง ภาพ |
| Input types | สตรีมมิงเสียง ข้อความ ภาพ |
| Output types | สตรีมมิงข้อความ เสียงสังเคราะห์/สตรีมมิง คำสั่งฟังก์ชันแบบมีโครงสร้าง |
| Core strengths | การโต้ตอบหน่วงต่ำ ความเข้าใจมัลติโหมด การสนทนาแบบเรียลไทม์ การใช้เครื่องมือ |
| Best for | ผู้ช่วยด้วยเสียง สายสนับสนุนแบบสด ทำแคปชัน ตอบคำถามด้วยภาพ เอเจนต์เชิงโต้ตอบ |
| Function calling | รองรับ |
| Streaming | รองรับ |
| Realtime sessions | รองรับ |
| Typical interaction pattern | เซสชันสองทิศทางอย่างต่อเนื่องพร้อมอินพุตและเอาต์พุตแบบเพิ่มขึ้นทีละส่วน |
gpt-4o-mini-realtime-preview คืออะไร?
gpt-4o-mini-realtime-preview เป็นโมเดลมัลติโหมดแบบเรียลไทม์ที่ออกแบบมาสำหรับประสบการณ์การใช้งานที่รวดเร็วและโต้ตอบได้ ซึ่งผู้ใช้สามารถพูด พิมพ์ หรือแชร์อินพุตภาพและคาดหวังการตอบกลับทันที เหมาะอย่างยิ่งสำหรับแอปพลิเคชันที่ต้องการการสื่อสารไปมาขณะใช้งานแบบสด มากกว่ากระบวนการร้องขอ/ตอบกลับแบบครั้งเดียวตามปกติ
โมเดลนี้สามารถประมวลผลเสียง ข้อความ และภาพภายในประสบการณ์เดียวกัน จึงเหมาะกับผู้ช่วยที่รับฟังผู้โทร ตรวจสอบเนื้อหาบนหน้าจอหรือจากกล้อง และตอบกลับด้วยภาษาธรรมชาติหรือเสียง เนื่องจากรองรับการสตรีมทั้งอินพุตและเอาต์พุต นักพัฒนาจึงสามารถสร้างระบบที่ตอบสนองได้ตลอดการโต้ตอบ แทนที่จะต้องรอผลลัพธ์สมบูรณ์ในครั้งเดียว
นอกจากนี้ยังรองรับการเรียกใช้เครื่องมือหรือฟังก์ชัน ทำให้โมเดลสามารถกระตุ้นการกระทำแบบมีโครงสร้าง เช่น ค้นหาข้อมูล เรียกใช้บริการฝั่งหลัง หรือดำเนินขั้นตอนเวิร์กโฟลว์ ส่งผลให้ gpt-4o-mini-realtime-preview เป็นตัวเลือกที่แข็งแกร่งสำหรับเอเจนต์ที่ยึดโยงกับข้อมูลและเน้นการปฏิบัติการ ในงานสนับสนุนลูกค้า การปฏิบัติการ ผลิตภาพ และผู้ช่วยแบบมัลติโหมด
คุณสมบัติหลักของ gpt-4o-mini-realtime-preview
- ปฏิสัมพันธ์มัลติโหมดแบบเรียลไทม์: รับและตอบกลับผ่านเสียง ข้อความ และภาพ เพื่อประสบการณ์สดที่ลื่นไหล
- ออดิโอสองทิศทาง: รองรับอินเทอร์เฟซเสียงแบบสนทนาที่สามารถสตรีมเสียงเข้าและสตรีมคำตอบออกได้
- การตอบสนองแบบสตรีมมิง: ส่งผลลัพธ์บางส่วนเป็นลำดับ ลดระยะเวลารอคอยและเพิ่มความตอบสนอง
- ความเข้าใจด้านภาพ: ตีความอินพุตภาพ เช่น เฟรมจากกล้อง ภาพหน้าจอ หรือรูปภาพอื่น ๆ ระหว่างเซสชันสด
- การเรียกใช้ฟังก์ชันและเครื่องมือ: สร้างคำเรียกที่มีโครงสร้างเพื่อเชื่อมโมเดลกับตรรกะธุรกิจ ฐานข้อมูล หรือเครื่องมือภายนอก
- พฤติกรรมเอเจนต์แบบโต้ตอบ: เหมาะกับผู้ช่วยที่ต้องรักษาบริบทแบบผลัดกันพูดในระหว่างเซสชันที่กำลังดำเนินอยู่
- การจัดการสายแบบสด: มีประโยชน์สำหรับสถานการณ์โทรศัพท์หรือเว็บคอลที่ต้องเข้าใจคำพูดอย่างรวดเร็วและตอบกลับทันที
- เวิร์กโฟลว์การทำคำบรรยายและถอดความแบบเรียลไทม์: รองรับการแปลงคำพูดที่ต่อเนื่องให้เป็นข้อความที่ใช้งานได้เกือบเรียลไทม์
- ผลลัพธ์แบบมีโครงสร้างเพื่อการปฏิบัติการ: ช่วยให้อแอปพลิเคชันแปลงเจตนาการสนทนาเป็นคำสั่งที่เครื่องอ่านได้อย่างน่าเชื่อถือ
- ประสบการณ์ผู้ใช้หน่วงต่ำ: ปรับแต่งสำหรับกรณีที่ความรวดเร็วเป็นสิ่งสำคัญ เช่น งานสนับสนุน โค้ชชิ่ง การมอนิเตอร์ และเวิร์กโฟลว์แบบมีผู้แนะนำ
วิธีเข้าถึงและผสานใช้งาน gpt-4o-mini-realtime-preview
ขั้นตอนที่ 1: ลงทะเบียนเพื่อขอ API Key
เริ่มจากสร้างบัญชีบน CometAPI และสร้าง API key จากแดชบอร์ด คีย์นี้จำเป็นสำหรับการยืนยันตัวตนในทุกคำขอ เก็บรักษาอย่างปลอดภัยและหลีกเลี่ยงการเปิดเผยในโค้ดฝั่งไคลเอนต์หรือที่เก็บสาธารณะ
ขั้นตอนที่ 2: เชื่อมต่อกับ API ของ gpt-4o-mini-realtime-preview
Realtime API ใช้การเชื่อมต่อแบบ WebSocket เชื่อมต่อไปยัง WebSocket endpoint ของ CometAPI:
const ws = new WebSocket(
"wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
{
headers: {
"Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
"OpenAI-Beta": "realtime=v1"
}
}
);
ws.on("open", () => {
ws.send(JSON.stringify({
type: "session.update",
session: {
modalities: ["text", "audio"],
instructions: "You are a helpful assistant."
}
}));
});
ws.on("message", (data) => {
console.log(JSON.parse(data));
});
ขั้นตอนที่ 3: ดึงผลลัพธ์และตรวจสอบความถูกต้อง
Realtime API สตรีมการตอบกลับผ่านการเชื่อมต่อ WebSocket ในรูปแบบ server-sent events ให้ติดตามอีเวนต์ response.audio.delta สำหรับเอาต์พุตเสียง และ response.text.delta สำหรับข้อความ ตรวจสอบว่าเซสชันถูกตั้งค่าแล้วและการตอบกลับกำลังสตรีมอย่างถูกต้อง