Luma Labs đã giới thiệu một giải pháp thay đổi mô hình: một công cụ có tên gọi là Sửa đổi Video cho phép tái tạo toàn bộ cảnh mà không làm ảnh hưởng đến hiệu suất gốc, chuyển động của máy quay hoặc hoạt ảnh nhân vật. Bằng cách tách biệt "cái gì" đang diễn ra (chuyển động và biểu cảm của diễn viên) khỏi "nơi" diễn ra (môi trường, kết cấu, ánh sáng và phong cách trực quan), Modify Video mở ra sự linh hoạt sáng tạo chưa từng có.
Các tính năng chính và cách chúng hoạt động
1. Trích xuất chuyển động & điều khiển rối
Tự động chụp chuyển động toàn thân và khuôn mặt:Modify Video có thể phân tích clip đầu vào và tự động trích xuất tư thế toàn thân, biểu cảm khuôn mặt và thông tin đồng bộ hóa môi.
Điều khiển nhân vật hoặc đối tượng mới:Sau khi ghi lại được những “dữ liệu chuyển động” này, chúng có thể được áp dụng để điều khiển bất kỳ chuyển động nào của nhân vật 3D, đạo cụ hoặc máy quay.
Ví dụ, bạn có thể "chuyển" diễn xuất của một diễn viên sang một sinh vật như quái vật, hoặc bạn có thể có một động tác trên bàn ăn khớp hoàn hảo với một điệu nhảy.
Tại sao nó quan trọng:
Bằng cách tách phần trình diễn khỏi phần trình diễn gốc, người sáng tạo có thể thử nghiệm với các nhân vật hoặc đồ vật thay thế trong khi vẫn giữ được sắc thái và thời gian của phần trình diễn gốc.
2. 🌆 Trao đổi thế giới và phong cách
- Bảo tồn hành động, thay đổi mọi thứ khác
Không cần thay đổi hoạt ảnh hoặc thời gian của nhân vật cốt lõi, bạn có thể hoàn toàn thay đổi diện mạo, cảm nhận và đặc tính vật liệu của cảnh. - Ví dụ về phép biến đổi
- Cải tạo một gara tồi tàn thành bên trong một con tàu vũ trụ.
- Biến một con phố đầy nắng thành một cảnh đêm u ám với ánh đèn neon.
- Thay thế tính thẩm mỹ hoạt hình bằng kết cấu và ánh sáng chân thực.
- Công nghệ cơ bản
Sửa đổi video của Luma AI xây dựng khả năng hiểu biết có độ trung thực cao về hình học và tính nhất quán về mặt thời gian của cảnh gốc, đảm bảo mọi thay đổi về mặt hình ảnh đều ổn định theo thời gian—tránh hiện tượng biến dạng, rung hoặc hiện tượng "bẻ cong thời gian".
3. Chỉnh sửa phần tử riêng biệt
- Điều chỉnh có mục tiêu mà không cần màn hình xanh
Bạn có thể chọn từng yếu tố riêng lẻ để sửa đổi—chẳng hạn như trang phục của nhân vật, đạo cụ cụ thể hoặc thậm chí chỉ bầu trời—mà không ảnh hưởng đến phần còn lại của khung hình. - Các trường hợp sử dụng minh họa
- Thay đổi màu sắc hoặc kiểu trang phục của người biểu diễn.
- Đổi khuôn mặt của một diễn viên này sang khuôn mặt của một diễn viên khác.
- Thêm một UFO bay qua bầu trời phía trên một cảnh nào đó.
- Không cần theo dõi từng khung hình
Vì công cụ này hiểu được bối cảnh không gian và thời gian, bạn không cần phải rotoscope thủ công hoặc thực hiện các điều chỉnh tỉ mỉ cho từng khung hình. Các chỉnh sửa hòa trộn tự nhiên vào cảnh quay.
Chế độ hoạt động & Tính linh hoạt sáng tạo
Modify Video cung cấp ba chế độ chuyển đổi cài đặt sẵn—mỗi chế độ cấp một mức độ tự do sáng tạo khác nhau. Người dùng chọn chế độ phù hợp nhất với nhu cầu của dự án:
Chế độ bám dính (Điều chỉnh tối thiểu)
Mục đích: Giữ nguyên cấu trúc video gốc càng nhiều càng tốt, chỉ thay đổi một chút về phong cách hoặc kết cấu.
Khi nào sử dụng: Thích hợp cho những tình huống bạn muốn duy trì tính nhất quán giữa nhiều cảnh quay hoặc thực hiện những chỉnh sửa nhỏ trong hậu kỳ—chẳng hạn như điều chỉnh màu nền hoặc thay đổi một đạo cụ hơi lệch so với mô hình—trong khi vẫn giữ nguyên diễn xuất của diễn viên và góc máy quay.
Chế độ Flex (Sáng tạo cân bằng)
Mục đích: Giữ nguyên các yếu tố chính như chuyển động, biểu cảm khuôn mặt và thời gian của nhân vật, nhưng cho phép thay đổi sáng tạo rộng hơn.
Khi nào sử dụng: Phù hợp với các dự án cần sự thỏa hiệp giữa việc tái tạo trung thực và diễn giải lại mới mẻ. Ví dụ, bạn có thể thay đổi bối cảnh tổng thể sang một phong cách khác hoặc hoán đổi trang phục và đạo cụ cơ bản của nhân vật, trong khi vẫn giữ nguyên bản chất của màn trình diễn gốc. Chế độ này đặc biệt hữu ích để nhanh chóng tạo ra nhiều biến thể phong cách, chẳng hạn như đối với bản xem trước của khách hàng.
Chế độ Tái hiện (Tái tạo hoàn toàn)
Mục đích: Giải phóng tối đa sự tự do sáng tạo bằng cách cho phép bạn thiết kế lại hoàn toàn môi trường, nhân vật hoặc thậm chí biến người biểu diễn thành một thực thể phi nhân loại (như một sinh vật kỳ ảo).
Khi nào sử dụng: Hoàn hảo cho các dự án nghệ thuật, phim ngắn ý tưởng hoặc bất kỳ kịch bản nào mà bạn muốn tái hiện lại cảnh quay một cách triệt để. Trong Chế độ Reimagine, bạn có thể đại tu lại một cảnh hoặc diện mạo nhân vật từ đầu, tạo ra kết quả ấn tượng, siêu thực hoặc siêu nhiên.
Chọn chế độ phù hợp
- Chế độ tuân thủ là lựa chọn phù hợp khi mục tiêu là thực hiện các điều chỉnh chi tiết mà không làm ảnh hưởng đến tính toàn vẹn của nội dung gốc—chẳng hạn như đảm bảo tính nhất quán về mặt hình ảnh trong một chuỗi nhiều cảnh quay.
- Chế độ linh hoạt sẽ hiệu quả nhất khi bạn cần sự cân bằng: bạn vẫn đảm bảo được tính chân thực của màn trình diễn, nhưng bạn có thể thay đổi bối cảnh, ánh sáng, trang phục hoặc thiết kế lại nhân vật phụ.
- Chế độ tái hiện được thiết kế riêng cho các dự án đòi hỏi sự sáng tạo vượt trội—khi toàn bộ thế giới hoặc các nhân vật chính cần được thay đổi hoàn toàn để có tác động trực quan tối đa.
Cách sử dụng Sửa đổi Video của luma AI
Sửa đổi Video được tích hợp vào Máy mơ Luma: Ray 2, hỗ trợ các clip có độ dài lên đến 10 giây. Quy trình làm việc như sau:
- Tải lên một đoạn video ngắn:Để có kết quả tốt nhất, hãy quay clip trong khoảng thời gian từ 5–10 giây, quay ở độ phân giải cao với độ rung máy tối thiểu.
- Chọn chế độ chuyển đổi: Chọn Adhere, Flex hoặc Reimagine tùy thuộc vào mức độ thay đổi triệt để mà bạn muốn.
- Cung cấp Khung tham chiếu hoặc Lời nhắc về phong cách (Tùy chọn):Nếu bạn có giao diện hoặc khung hình chính cụ thể (ví dụ: ảnh tĩnh từ một tác phẩm nghệ thuật ý tưởng), bạn có thể tải nó lên.
- Nhập lời nhắc văn bản (nếu muốn):Mô tả chi tiết, tích cực (ví dụ: “Một con phố cyberpunk được chiếu sáng bằng đèn neon lúc chạng vạng với những chiếc xe lơ lửng”) giúp hệ thống diễn giải chính xác tầm nhìn của bạn.
- Điều chỉnh “Cường độ sửa đổi”:Chuyển đổi giữa những chuyển đổi tinh tế và mạnh mẽ.
- Tạo và xem xét nhiều biến thể:Hệ thống đưa ra nhiều phiên bản; bạn có thể chọn phiên bản tốt nhất và lặp lại hoặc xuất trực tiếp.
Khuyến nghị trước khi chụp
- Ổn định máy ảnh của bạn: Sử dụng chân máy hoặc gimbal để giảm thiểu rung lắc và đảm bảo trích xuất chuyển động sạch.
- Chọn hình nền đơn giản:Những bức tường trơn hoặc không gian thông thoáng giúp AI phân lập đối tượng hiệu quả hơn.
- Quay phim có độ phân giải cao, đủ sáng: Khung rõ ràng mang lại dữ liệu về tư thế và kết cấu chính xác hơn.
- Giữ Clip Dưới 10 Giây:Mặc dù hệ thống hỗ trợ tối đa 10 giây, các phân đoạn dài 5–7 giây cân bằng độ sâu của nội dung với hiệu quả xử lý.
Những hạn chế cần xem xét
- Clip 10 giây tối đa
Nếu bạn có chuỗi dài hơn, bạn sẽ cần chia chúng thành nhiều phân đoạn để xử lý. - Chất lượng đầu vào ảnh hưởng đến đầu ra
Cảnh quay mờ, độ phân giải thấp hoặc nhiễu có thể làm giảm độ chính xác của việc ghi lại chuyển động và độ trung thực của hình ảnh cuối cùng. - Cảnh hỗn loạn hoặc đông đúc
Các cảnh quay có nhiều vật thể chuyển động nhanh hoặc nền quá lộn xộn có thể tạo ra hiện tượng nhiễu không ổn định hoặc lỗi pha trộn không mong muốn. - Các phần tử chồng chéo phức tạp
Các cảnh có nhiều diễn viên hoặc đạo cụ chồng chéo có thể gây khó khăn cho thuật toán cô lập—thiết lập đơn giản hơn thường mang lại kết quả rõ ràng hơn.
Tóm tắt, Sửa đổi Video đại diện cho bước nhảy vọt mang tính chuyển đổi cho tính linh hoạt của hậu kỳ—cho phép bạn giữ nguyên bản chất của một màn trình diễn trong khi xây dựng lại toàn bộ thế giới của nó. Khi kết hợp với các tính năng mới tích hợp của Ray 2 như khả năng tương thích Adobe Firefly, Khái niệm góc máy ảnh và điều khiển Khung hình chính, Luma AI trao quyền cho người sáng tạo kể những câu chuyện với sự nhanh nhẹn và sáng tạo chưa từng có. Cho dù bạn cần những tinh chỉnh phong cách tinh tế hay sự tưởng tượng lại hoàn toàn, siêu thực, bộ công cụ đang phát triển này sẽ mở rộng đáng kể những gì có thể trong mỗi clip dài 10 giây.
Bắt đầu
CometAPI cung cấp giao diện REST thống nhất tổng hợp hàng trăm mô hình AI—dưới một điểm cuối nhất quán, với quản lý khóa API tích hợp, hạn ngạch sử dụng và bảng điều khiển thanh toán. Thay vì phải xử lý nhiều URL và thông tin xác thực của nhà cung cấp.
Các nhà phát triển có thể truy cập mới nhất API Luma thông qua Sao chổiAPI. Để bắt đầu, hãy khám phá khả năng của mô hình trong Sân chơi và tham khảo ý kiến Hướng dẫn API để biết hướng dẫn chi tiết. Trước khi truy cập, vui lòng đảm bảo bạn đã đăng nhập vào CometAPI và lấy được khóa API. Sao chổiAPI cung cấp mức giá thấp hơn nhiều so với giá chính thức để giúp bạn tích hợp:
