Luma Labs ได้เปิดตัวโซลูชันที่เปลี่ยนแปลงกระบวนทัศน์: เครื่องมือที่เรียกว่า ปรับเปลี่ยนวิดีโอ ซึ่งช่วยให้สามารถสร้างฉากใหม่ได้อย่างครอบคลุมโดยไม่กระทบต่อประสิทธิภาพเดิม การเคลื่อนไหวของกล้อง หรือการเคลื่อนไหวของตัวละคร ด้วยการแยก "สิ่งที่" เกิดขึ้น (การเคลื่อนไหวและการแสดงออกของนักแสดง) ออกจาก "สถานที่" ที่เกิดขึ้น (สภาพแวดล้อม พื้นผิว แสง และรูปแบบภาพ) Modify Video จึงปลดล็อกความยืดหยุ่นในการสร้างสรรค์ที่ไม่เคยมีมาก่อน
คุณสมบัติหลักและวิธีการทำงาน
1. การสกัดการเคลื่อนไหวและการเชิดหุ่น
การจับภาพการเคลื่อนไหวใบหน้าและร่างกายแบบเต็มตัวแบบอัตโนมัติ:Modify Video สามารถวิเคราะห์คลิปอินพุตและดึงข้อมูลท่าทางร่างกายแบบเต็มตัว การแสดงออกทางสีหน้า และข้อมูลการลิปซิงค์ได้โดยอัตโนมัติ
การขับเคลื่อนตัวละครหรือวัตถุใหม่:เมื่อจับ "ข้อมูลการเคลื่อนไหว" เหล่านี้ได้แล้ว ก็สามารถนำไปใช้ขับเคลื่อนตัวละคร 3 มิติ อุปกรณ์ประกอบฉาก หรือการเคลื่อนไหวของกล้องใหม่ๆ ได้
ตัวอย่างเช่น คุณสามารถ "ถ่ายโอน" การแสดงของนักแสดงลงบนสิ่งมีชีวิต เช่น สัตว์ประหลาด หรือคุณสามารถมีการเคลื่อนไหวบนโต๊ะที่ซิงค์กับท่าเต้นได้อย่างลงตัว
ทำไมมันสำคัญ:
โดยการแยกการแสดงออกจากรูปลักษณ์ดั้งเดิม ผู้สร้างสามารถทดลองกับตัวละครหรือวัตถุอื่นๆ ในขณะที่ยังคงรักษาความแตกต่างและจังหวะเวลาของการแสดงดั้งเดิมไว้ได้
2. 🌆 การแลกเปลี่ยนโลกและสไตล์
- รักษาการกระทำ เปลี่ยนแปลงทุกสิ่งทุกอย่าง
คุณสามารถปรับปรุงรูปลักษณ์ ความรู้สึก และคุณสมบัติของวัสดุของฉากได้โดยสมบูรณ์โดยไม่ต้องเปลี่ยนแปลงแอนิเมชั่นหรือจังหวะของตัวละครหลัก - ตัวอย่างการเปลี่ยนแปลง
- แปลงโรงรถทรุดโทรมให้กลายเป็นส่วนภายในของยานอวกาศ
- เปลี่ยนถนนที่สว่างสดใสให้กลายเป็นฉากกลางคืนที่มีแสงนีออนชวนหม่นหมอง
- แทนที่รูปลักษณ์การ์ตูนด้วยพื้นผิวและแสงที่เหมือนจริง
- เทคโนโลยีพื้นฐาน
การปรับแต่งวิดีโอของ Luma AI ช่วยให้เข้าใจรูปทรงเรขาคณิตและความสอดคล้องตามเวลาของฉากต้นฉบับได้อย่างแม่นยำ ช่วยให้มั่นใจว่าการเปลี่ยนแปลงภาพใดๆ จะคงที่ตลอดเวลา หลีกเลี่ยงการบิดเบือน การสั่นไหว หรือสิ่งแปลกปลอมที่ทำให้เกิดการ "บิดเบือนเวลา"
3. การแก้ไของค์ประกอบแยก
- การปรับเปลี่ยนแบบกำหนดเป้าหมายโดยไม่ต้องใช้กรีนสกรีน
คุณสามารถเลือกองค์ประกอบแต่ละอย่างเพื่อปรับเปลี่ยนได้ เช่น ชุดของตัวละคร อุปกรณ์ประกอบฉากบางอย่าง หรือแม้แต่ท้องฟ้าเท่านั้น โดยไม่ส่งผลกระทบต่อส่วนอื่นของเฟรม - กรณีตัวอย่างการใช้งาน
- เปลี่ยนสีหรือรูปแบบของเครื่องแต่งกายของนักแสดง
- สลับหน้านักแสดงคนหนึ่งกับอีกคนหนึ่ง
- เพิ่มยูเอฟโอที่ล่องผ่านท้องฟ้าเหนือฉาก
- ไม่จำเป็นต้องติดตามแบบเฟรมต่อเฟรม
เนื่องจากเครื่องมือนี้เข้าใจบริบทเชิงพื้นที่และเชิงเวลา คุณจึงไม่จำเป็นต้องทำการปรับภาพทีละเฟรมอย่างพิถีพิถันหรือทำการปรับภาพด้วยมือ การตัดต่อจะกลมกลืนไปกับภาพอย่างเป็นธรรมชาติ
โหมดการทำงานและความยืดหยุ่นเชิงสร้างสรรค์
Modify Video นำเสนอโหมดการแปลงที่ตั้งไว้ล่วงหน้าสามโหมด โดยแต่ละโหมดจะให้อิสระในการสร้างสรรค์ที่แตกต่างกัน ผู้ใช้สามารถเลือกโหมดที่เหมาะกับความต้องการของโครงการได้ดีที่สุด:
โหมดยึดติด (ปรับแต่งขั้นต่ำ)
วัตถุประสงค์: รักษาโครงสร้างวิดีโอต้นฉบับไว้ให้มากที่สุดเท่าที่จะทำได้ โดยทำการปรับแต่งรูปแบบหรือพื้นผิวเพียงเล็กน้อยเท่านั้น
ควรใช้เมื่อใด: เหมาะอย่างยิ่งสำหรับสถานการณ์ที่คุณต้องการรักษาความสม่ำเสมอระหว่างช็อตต่างๆ มากมาย หรือแก้ไขส่วนหลังการผลิตเล็กๆ น้อยๆ เช่น ปรับแต่งสีพื้นหลังหรือสลับอุปกรณ์ประกอบฉากที่ไม่เหมือนนางแบบเล็กน้อย ในขณะที่ยังคงรักษาการแสดงของนักแสดงและมุมกล้องไว้
โหมด Flex (ความคิดสร้างสรรค์ที่สมดุล)
วัตถุประสงค์: รักษาองค์ประกอบสำคัญๆ เช่น การเคลื่อนไหวของตัวละคร การแสดงออกทางสีหน้า และจังหวะเวลาให้คงอยู่ แต่ให้สามารถปรับเปลี่ยนเชิงสร้างสรรค์ในวงกว้างขึ้นได้
ควรใช้เมื่อใด: เหมาะสำหรับโปรเจ็กต์ที่ต้องการความสมดุลระหว่างการสร้างซ้ำที่สมจริงและการตีความใหม่ ตัวอย่างเช่น คุณสามารถเปลี่ยนฉากโดยรวมเป็นรูปแบบอื่นหรือสลับเครื่องแต่งกายและอุปกรณ์พื้นฐานของตัวละครได้ โดยยังคงรักษาแก่นแท้ของการแสดงดั้งเดิมเอาไว้ โหมดนี้มีประโยชน์อย่างยิ่งในการสร้างรูปแบบสไตล์ต่างๆ อย่างรวดเร็ว เช่น สำหรับการดูตัวอย่างของลูกค้า
โหมด Reimagine (การสร้างใหม่ทั้งหมด)
วัตถุประสงค์: ปลดปล่อยอิสระทางความคิดสร้างสรรค์อย่างเต็มที่โดยให้คุณสามารถออกแบบสภาพแวดล้อม ตัวละคร หรือแม้กระทั่งเปลี่ยนนักแสดงให้กลายเป็นสิ่งที่ไม่ใช่มนุษย์ (เช่น สิ่งมีชีวิตในจินตนาการ) ขึ้นมาใหม่ได้อย่างสิ้นเชิง
ควรใช้เมื่อใด: เหมาะสำหรับโปรเจ็กต์ที่เน้นงานศิลปะ ภาพสั้นแนวความคิด หรือสถานการณ์ใดๆ ที่คุณต้องการจินตนาการภาพใหม่โดยสิ้นเชิง ในโหมด Reimagine คุณสามารถปรับปรุงฉากหรือลักษณะของตัวละครตั้งแต่ต้น สร้างสรรค์ผลลัพธ์ที่โดดเด่น เหนือจริง หรือเหนือจริง
การเลือกโหมดที่เหมาะสม
- โหมดยึดติด คือสิ่งที่คุณจะเลือกใช้เมื่อเป้าหมายคือการปรับแต่งเล็กน้อยโดยไม่รบกวนความสมบูรณ์ของสินทรัพย์เดิม เช่น การทำให้แน่ใจว่ามีความสอดคล้องของภาพในลำดับภาพหลายช็อต
- โหมดยืดหยุ่น ทำงานได้ดีที่สุดเมื่อคุณต้องการความสมดุล: คุณยังคงรักษาความแท้จริงของการแสดงไว้ได้ แต่คุณสามารถเล่นกับการตั้งค่า แสง เครื่องแต่งกาย หรือการออกแบบตัวละครเล็กๆ น้อยๆ ได้
- โหมดการจินตนาการใหม่ ถูกสร้างขึ้นมาโดยเฉพาะสำหรับโครงการที่ต้องการความคิดสร้างสรรค์นอกกรอบ โดยที่ต้องปรับปรุงโลกทั้งหมดหรือตัวละครหลักใหม่เพื่อสร้างผลกระทบทางภาพสูงสุด
วิธีใช้งาน Modify Video ของ Luma AI
ปรับแต่งวิดีโอถูกรวมเข้าไว้ ลูม่า ดรีม แมชชีน : เรย์ 2รองรับคลิปที่มีความยาวสูงสุด 10 วินาที เวิร์กโฟลว์มีดังนี้:
- อัพโหลดคลิปวิดีโอสั้น ๆ:สำหรับผลลัพธ์ที่ดีที่สุด ควรถ่ายคลิปให้มีความยาว 5–10 วินาที โดยถ่ายด้วยความละเอียดสูงและสั่นไหวน้อยที่สุด
- เลือกโหมดการเปลี่ยนแปลง:เลือก ปฏิบัติตาม ยืดหยุ่น หรือคิดใหม่ ขึ้นอยู่กับว่าคุณต้องการเปลี่ยนแปลงอย่างรุนแรงขนาดไหน
- ให้กรอบอ้างอิงหรือคำแนะนำสไตล์ (ทางเลือก):หากคุณมีรูปลักษณ์หรือคีย์เฟรมที่เฉพาะเจาะจง (เช่น ภาพนิ่งจากชิ้นงานศิลปะแนวคิด) คุณสามารถอัปโหลดได้
- ป้อนข้อความแจ้งเตือน (หากต้องการ):คำอธิบายที่ละเอียดและเป็นบวก (เช่น "ถนนไซเบอร์พังค์ที่ส่องสว่างด้วยนีออนในยามพลบค่ำพร้อมยานพาหนะที่ลอยอยู่") จะช่วยให้ระบบตีความวิสัยทัศน์ของคุณได้อย่างถูกต้อง
- ปรับ “ความเข้มข้นของการปรับเปลี่ยน”:หมุนหมายเลขระหว่างการเปลี่ยนแปลงที่ละเอียดอ่อนและน่าทึ่ง
- สร้างและตรวจสอบตัวแปรหลายตัว:ระบบจะแสดงผลลัพธ์ออกมาหลายเวอร์ชัน คุณสามารถเลือกเวอร์ชันที่ดีที่สุดและดำเนินการซ้ำหรือส่งออกโดยตรงได้
คำแนะนำก่อนการถ่ายภาพ
- รักษาเสถียรภาพกล้องของคุณ:ใช้ขาตั้งกล้องหรือระบบกันสั่นเพื่อลดการสั่นและให้มั่นใจได้ว่าการเคลื่อนไหวจะออกมาคมชัด
- เลือกพื้นหลังแบบเรียบง่าย:ผนังเรียบหรือพื้นที่โล่งช่วยให้ AI แยกวัตถุได้มีประสิทธิภาพมากขึ้น
- จับภาพความละเอียดสูงและมีแสงสว่างเพียงพอ:เฟรมที่ชัดเจนทำให้ข้อมูลท่าทางและพื้นผิวมีความแม่นยำยิ่งขึ้น
- ให้คลิปมีความยาวไม่เกิน 10 วินาทีแม้ว่าระบบจะรองรับได้สูงสุด 10 วินาที แต่ส่วนที่มีความยาว 5–7 วินาทีก็จะช่วยรักษาสมดุลระหว่างความลึกของเนื้อหาและประสิทธิภาพการประมวลผล
ข้อจำกัดที่ต้องพิจารณา
- คลิปสูงสุด 10 วินาที
หากคุณมีลำดับที่ยาวกว่า คุณจะต้องแบ่งลำดับเหล่านั้นออกเป็นหลายส่วนเพื่อประมวลผล - คุณภาพของข้อมูลอินพุตส่งผลต่อผลลัพธ์
ภาพที่เบลอ ความละเอียดต่ำ หรือมีสัญญาณรบกวน อาจทำให้ความแม่นยำในการจับการเคลื่อนไหวและความสมจริงของภาพขั้นสุดท้ายลดลง - ฉากที่วุ่นวายหรือแออัด
การถ่ายภาพที่มีวัตถุที่เคลื่อนไหวเร็วจำนวนมากหรือพื้นหลังที่ยุ่งเหยิงมากเกินไปอาจทำให้เกิดสิ่งแปลกปลอมที่ไม่เสถียรหรือเกิดข้อผิดพลาดในการผสมภาพที่ไม่ได้ตั้งใจ - องค์ประกอบที่ทับซ้อนกันอย่างซับซ้อน
ฉากที่มีนักแสดงหรืออุปกรณ์ประกอบฉากหลายชิ้นทับซ้อนกันอาจท้าทายอัลกอริทึมการแยกส่วน การตั้งค่าที่ง่ายกว่ามักจะให้ผลลัพธ์ที่ชัดเจนกว่า
สรุป, ปรับเปลี่ยนวิดีโอ ถือเป็นก้าวกระโดดครั้งสำคัญสำหรับความยืดหยุ่นในขั้นตอนหลังการผลิต ช่วยให้คุณรักษาแก่นแท้ของการแสดงไว้ได้ในขณะที่สร้างโลกทั้งใบขึ้นมาใหม่ เมื่อจับคู่กับฟีเจอร์ที่ผสานรวมใหม่ของ Ray 2 เช่น การรองรับ Adobe Firefly แนวคิดมุมกล้อง และการควบคุมคีย์เฟรม Luma AI จะช่วยให้ผู้สร้างสามารถเล่าเรื่องราวด้วยความคล่องตัวและความคิดสร้างสรรค์ที่ไม่เคยมีมาก่อน ไม่ว่าคุณจะต้องการปรับแต่งสไตล์อย่างละเอียดอ่อนหรือจินตนาการใหม่แบบเหนือจริง ชุดเครื่องมือที่พัฒนาอย่างต่อเนื่องนี้จะขยายขอบเขตความเป็นไปได้ในทุกๆ คลิป 10 วินาทีอย่างมาก
เริ่มต้นใช้งาน
CometAPI มอบอินเทอร์เฟซ REST แบบรวมที่รวบรวมโมเดล AI หลายร้อยโมเดลภายใต้จุดสิ้นสุดที่สอดคล้องกัน พร้อมด้วยการจัดการคีย์ API ในตัว โควตาการใช้งาน และแดชบอร์ดการเรียกเก็บเงิน แทนที่จะต้องจัดการ URL และข้อมูลรับรองของผู้ขายหลายราย
นักพัฒนาสามารถเข้าถึงข้อมูลล่าสุดได้ ลูม่า API ตลอด โคเมทเอพีไอเริ่มต้นด้วยการสำรวจความสามารถของโมเดลใน สนามเด็กเล่น และปรึกษา คู่มือ API สำหรับคำแนะนำโดยละเอียด ก่อนเข้าใช้งาน โปรดตรวจสอบให้แน่ใจว่าคุณได้เข้าสู่ระบบ CometAPI และได้รับรหัส API แล้ว โคเมทเอพีไอ เสนอราคาต่ำกว่าราคาอย่างเป็นทางการมากเพื่อช่วยให้คุณบูรณาการ:
