runway_video2video

ข้อมูลจำเพาะทาง技术ของ runway-video2video

runway-video2video คืออะไร?

runway-video2video คือรหัสโมเดลของ CometAPI สำหรับความสามารถวิดีโอสู่วิดีโอของ Runway ซึ่งเป็นเวิร์กโฟลว์ที่รับคลิปวิดีโอที่มีอยู่แล้วและเรนเดอร์ใหม่ให้เป็นสไตล์ภาพหรือการตีความการเคลื่อนไหวรูปแบบใหม่โดยใช้พรอมต์ข้อความเป็นตัวกำกับ ในทางปฏิบัติ ใช้สำหรับการปรับสไตล์ การแปลงฉาก การพัฒนาลุค VFX เชิงทดลอง และการเปลี่ยนฟุตเทจดิบให้เป็นเอาต์พุตที่มีความเป็นภาพยนตร์หรือจินตนาการมากขึ้น

เอกสารช่วยเหลือของ Runway อธิบาย Video to Video ว่าเป็นวิธีเปลี่ยนสไตล์ของวิดีโอด้วยพรอมต์ข้อความหรือภาพอินพุตเป็นเฟรมแรก คำแนะนำผลิตภัณฑ์ล่าสุดยังระบุว่า แม้ Gen-3 Alpha และ Turbo จะรองรับเวิร์กโฟลว์นี้ แต่คำแนะนำใหม่ของ Runway ชี้ให้ผู้ใช้ไปยังเครื่องมือเจเนอเรชันใหม่กว่าเพื่อการใช้งานวิดีโอสู่วิดีโอรุ่นล่าสุด อย่างไรก็ตาม ในมุมมองการผสานรวมกับ CometAPI runway-video2video คือรหัสโมเดลของแพลตฟอร์มที่ใช้เข้าถึงความสามารถในกลุ่มนี้

ฟีเจอร์หลักของ runway-video2video

• การสร้างแบบมีวิดีโอเป็นตัวนำ: เริ่มจากวิดีโออินพุตที่มีอยู่ แทนการสร้างการเคลื่อนไหวจากศูนย์ จึงช่วยคงโครงสร้างช็อต จังหวะเวลา และองค์ประกอบภาพไว้ ขณะเปลี่ยนผลลัพธ์ทางภาพ
• การแปลงด้วยพรอมต์: ใช้คำสั่งภาษาธรรมชาติควบคุมสไตล์ อารมณ์ การตีความตัวแบบ หรือทิศทางเอฟเฟ็กต์ภาพของเอาต์พุต
• การถ่ายโอนสไตล์และเรนเดอร์สร้างสรรค์ใหม่: เหมาะสำหรับแปลงฟุตเทจให้เป็นลุคแอนิเมชัน ภาพยนตร์ เหนือจริง หรือสไตล์แบรนด์ โดยไม่ต้องตัดต่อทีละเฟรม เป็นการอนุมานจากเวิร์กโฟลว์การปรับสไตล์วิดีโอสู่วิดีโอที่ Runway อธิบายไว้
• เวิร์กโฟลว์ที่ตระหนักถึงเรฟเฟอเรนซ์: เอกสารของ Runway ระบุการรองรับคำแนะนำจากภาพในโฟลว์การสร้างวิดีโอที่เกี่ยวข้อง เพื่อช่วยคุมองค์ประกอบหรือความสม่ำเสมอของสุนทรียภาพ
• ตัวเลือกเอาต์พุตแนวตั้งและแนวนอน: เวิร์กโฟลว์ที่รองรับมีทั้งรูปแบบแนวนอนและแนวตั้ง เหมาะกับสื่อสังคม มือถือ และการตลาด
• ประสิทธิภาพสำหรับงานวิดีโอสั้น: เวิร์กโฟลว์ที่อ้างอิงรองรับคลิปยาวถึง 20 วินาที เหมาะกับโฆษณาสั้น ช็อตคอนเซ็ปต์ คอนเทนต์โซเชียล และการลองทำซ้ำอย่างรวดเร็ว
• การเข้าถึงผ่าน API: Runway มีเอกสาร API และรูปแบบการเข้าถึงโมเดล ช่วยให้ผสานรวมแบบโปรแกรมกับแอปสร้างสรรค์ เครื่องมือภายใน และไปป์ไลน์สื่ออัตโนมัติได้

วิธีเข้าถึงและผสานรวม runway-video2video

ขั้นตอนที่ 1: สมัครและรับ API Key

เริ่มต้นโดยสมัครที่ CometAPI และสร้าง API key จากแดชบอร์ด เมื่อได้รับคีย์แล้ว ให้จัดเก็บอย่างปลอดภัยและใช้สำหรับยืนยันตัวตนเมื่อเรียก CometAPI endpoint

ขั้นตอนที่ 2: ส่งคำขอไปยัง API ของ runway-video2video

ใช้รูปแบบ API ทางการของ Runway ผ่าน CometAPI โดย endpoint คือ POST /runwayml/v1/video_to_video และต้องใส่เฮดเดอร์ X-Runway-Version

curl https://api.cometapi.com/runwayml/v1/video_to_video \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $COMETAPI_API_KEY" \
  -H "X-Runway-Version: 2024-11-06" \
  -d '{
    "model": "gen4_aleph",
    "videoUri": "https://example.com/your-source-video.mp4",
    "promptText": "Transform this footage into a cinematic neon-lit sci-fi sequence with dramatic atmosphere and smooth motion.",
    "seed": 1,
    "ratio": "1280:720",
    "references": [],
    "contentModeration": {
      "publicFigureThreshold": "auto"
    }
  }'

import os, requests

resp = requests.post(
    "https://api.cometapi.com/runwayml/v1/video_to_video",
    headers={
        "Authorization": f"Bearer {os.environ['COMETAPI_API_KEY']}",
        "Content-Type": "application/json",
        "X-Runway-Version": "2024-11-06",
    },
    json={
        "model": "gen4_aleph",
        "videoUri": "https://example.com/your-source-video.mp4",
        "promptText": "Transform this footage into a cinematic neon-lit sci-fi sequence.",
        "seed": 1,
        "ratio": "1280:720",
        "references": [],
        "contentModeration": {"publicFigureThreshold": "auto"},
    },
)
print(resp.json())

ขั้นตอนที่ 3: ดึงและตรวจสอบผลลัพธ์

API จะส่งกลับออบเจ็กต์งาน ให้เรียกตรวจสอบสถานะงานที่ endpoint เป็นระยะเพื่อดูว่าเมื่อใดการสร้างวิดีโอเสร็จสมบูรณ์ จากนั้นดึง URL ของวิดีโอเอาต์พุต สำหรับงานโปรดักชัน ให้เพิ่มการลองซ้ำ การโพลลิงสถานะ และการทำบันทึกล็อก เพื่อให้การผสานรวมกับ runway-video2video มีความน่าเชื่อถือ