Luma Labs는 패러다임을 전환하는 솔루션을 도입했습니다. 비디오 수정 원래의 연기, 카메라 움직임, 캐릭터 애니메이션을 손상시키지 않고 포괄적인 장면 재구성을 가능하게 합니다. Modify Video는 "무엇"이 일어나는지(배우의 동작과 표정)와 "어디서" 일어나는지(환경, 텍스처, 조명, 시각적 스타일)를 분리함으로써 전례 없는 창의적 유연성을 제공합니다.
주요 기능 및 작동 방식
1. 동작 추출 및 퍼펫티어링
자동 전신 및 얼굴 모션 캡처: 비디오 수정 기능은 입력 클립을 분석하여 전신 포즈, 얼굴 표정, 립싱크 정보를 자동으로 추출합니다.
새로운 캐릭터 또는 객체 구동: 이러한 "모션 데이터"를 캡처하면 새로운 3D 캐릭터, 소품 또는 카메라 움직임을 구동하는 데 적용할 수 있습니다.
예를 들어, 배우의 연기를 괴물과 같은 생물에게 "전송"할 수도 있고, 댄스 루틴과 완벽하게 동기화된 테이블 위의 움직임을 구현할 수도 있습니다.
업데이트가 중요한 이유:
공연을 원래 모습과 분리함으로써 창작자는 원래 공연의 뉘앙스와 타이밍을 보존하면서 대체 캐릭터나 사물을 실험할 수 있습니다.
2. 🌆 세계와 스타일 교환
- 행동은 보존하고, 나머지는 모두 바꾸세요
핵심 캐릭터 애니메이션이나 타이밍을 변경하지 않고도 장면의 모양, 느낌, 재질 속성을 완전히 바꿀 수 있습니다. - 변환의 예
- 낡은 차고를 우주선 내부로 바꿔보세요.
- 밝고 화창한 거리를 우울한 네온 불빛이 켜진 야경으로 바꿔보세요.
- 만화적인 미학을 사진처럼 사실적인 질감과 조명으로 바꾸세요.
- 기본 기술
루마 AI의 비디오 수정 기능은 원본 장면의 기하학과 시간적 일관성을 충실하게 이해하여 시간이 지나도 시각적 변화가 안정적으로 유지되도록 보장하며, 왜곡, 지터 또는 "시간 왜곡" 아티팩트를 방지합니다.
3. 분리된 요소 편집
- 그린 스크린 없이 타겟 조정
프레임의 나머지 부분에 영향을 주지 않고 캐릭터의 의상, 특정 소품, 심지어 하늘 등 개별 요소만 골라서 수정할 수 있습니다. - 예시적인 사용 사례
- 공연자 의상의 색상이나 스타일을 변경합니다.
- 한 배우의 얼굴을 다른 배우의 얼굴로 바꿔보세요.
- 장면 위 하늘을 가로지르는 UFO를 추가하세요.
- 프레임별 추적 필요 없음
이 도구는 공간적, 시간적 맥락을 이해하기 때문에 수동으로 로토스코프를 적용하거나 프레임별로 힘들게 조정할 필요가 없습니다. 편집된 영상은 영상과 자연스럽게 어우러집니다.
운영 모드 및 창의적 유연성
Modify Video는 세 가지 사전 설정 변형 모드를 제공하며, 각 모드는 서로 다른 수준의 창작 자유를 제공합니다. 사용자는 프로젝트의 필요에 가장 적합한 모드를 선택할 수 있습니다.
접착 모드(최소 조정)
목적 : 원본 영상의 구조를 최대한 보존하고, 스타일이나 질감만 미세하게 조정합니다.
사용시기 : 여러 샷에서 일관성을 유지하거나 사소한 후반 작업 수정(예: 배경색 조정, 모델과 약간 다른 소품 교체)을 하는 동시에 배우의 연기와 카메라 각도는 그대로 두고 싶은 상황에 이상적입니다.
플렉스 모드(균형 잡힌 창의성)
목적 : 캐릭터의 움직임, 표정, 타이밍과 같은 핵심 요소는 그대로 유지하되, 더 폭넓은 창의적 수정을 허용하세요.
사용시기 : 충실한 재현과 참신한 재해석 사이의 절충안이 필요한 프로젝트에 적합합니다. 예를 들어, 원작의 본질을 유지하면서 전반적인 설정을 다른 스타일로 변경하거나 캐릭터의 의상과 기본 소품을 교체할 수 있습니다. 이 모드는 고객 프리뷰와 같이 다양한 스타일의 변형을 빠르게 생성하는 데 특히 유용합니다.
리이매진 모드(전체 재구성)
목적 : 환경, 캐릭터를 완전히 새롭게 디자인하거나 심지어 공연자를 인간이 아닌 존재(예: 판타지 속 생물)로 바꾸는 등의 작업을 통해 최대한의 창의적 자유를 누리세요.
사용시기 : 예술 중심 프로젝트, 콘셉트 단편, 또는 영상을 근본적으로 재구성하고 싶은 모든 시나리오에 적합합니다. 리이매진 모드에서는 장면이나 캐릭터의 모습을 처음부터 완전히 새롭게 수정하여 강렬하고 초현실적이며 초현실적인 결과물을 만들어낼 수 있습니다.
올바른 모드 선택
- 접착 모드 원본 자산의 무결성을 해치지 않고 미세한 조정을 하는 것이 목표인 경우(예: 여러 샷으로 구성된 시퀀스에서 시각적 일관성을 유지하는 경우) 적합한 솔루션입니다.
- 플렉스 모드 균형이 필요할 때 가장 효과적입니다. 공연의 진정성을 유지하면서도 배경, 조명, 의상 또는 사소한 캐릭터 재설계 등을 통해 실험해 볼 수 있습니다.
- 리이매진 모드 최대의 시각적 효과를 위해 전체 세계관이나 주요 등장인물을 전면적으로 개편해야 하는 등, 독창적인 창의성을 요구하는 프로젝트에 맞춤 제작되었습니다.
루마 AI 비디오 수정 방법
비디오 수정이 통합되었습니다 루마 드림 머신: 레이 2최대 10초 길이의 클립을 지원합니다. 워크플로는 다음과 같습니다.
- 짧은 비디오 클립 업로드:최상의 결과를 얻으려면 클립을 5~10초 범위로 유지하고 카메라 흔들림을 최소화하여 고해상도로 촬영하세요.
- 변형 모드를 선택하세요: 원하는 변화의 정도에 따라 Adhere, Flex 또는 Reimagine을 선택하세요.
- 참조 프레임 또는 스타일 프롬프트 제공(선택 사항): 특정한 모습이나 키프레임(예: 콘셉트 아트 작품의 스틸컷)이 있다면 업로드할 수 있습니다.
- 텍스트 프롬프트를 입력하세요(원하는 경우): 자세하고 긍정적인 설명(예: "황혼의 네온 불빛이 비치는 사이버펑크 거리와 차량이 떠 있는 모습")은 시스템이 사용자의 비전을 정확하게 해석하는 데 도움이 됩니다.
- "수정 강도" 조정: 미묘한 변화와 극적인 변화 사이를 조절하세요.
- 여러 변형 생성 및 검토: 시스템은 여러 버전을 출력합니다. 가장 좋은 버전을 선택해 추가로 반복하거나 직접 내보낼 수 있습니다.
촬영 전 권장 사항
- 카메라 안정화: 삼각대나 짐벌을 사용하면 흔들림을 최소화하고 깨끗한 동작 추출이 가능합니다.
- 간단한 배경을 선택하세요: 벽이 단순하거나 공간이 깔끔하면 AI가 피사체를 더 효과적으로 분리하는 데 도움이 됩니다.
- 고해상도, 밝은 조명의 영상 캡처: 프레임이 선명할수록 포즈와 텍스처 데이터가 더 정확해집니다.
- 클립은 10초 이하로 유지하세요: 시스템은 최대 10초까지 지원하지만, 5~7초 분량의 세그먼트가 콘텐츠의 깊이와 처리 효율성의 균형을 맞춥니다.
고려해야 할 제한 사항
- 최대 10초 클립
시퀀스가 긴 경우 처리를 위해 여러 개의 세그먼트로 나누어야 합니다. - 입력 품질은 출력에 영향을 미칩니다
흐릿하거나 해상도가 낮거나 노이즈가 있는 영상은 모션 캡처 정확도와 최종 시각적 충실도를 떨어뜨릴 수 있습니다. - 혼란스럽거나 혼잡한 장면
빠르게 움직이는 물체가 많거나 배경이 매우 복잡한 장면에서는 불안정한 아티팩트나 의도치 않은 블렌딩 오류가 발생할 수 있습니다. - 복잡한 중첩 요소
여러 배우나 소품이 겹치는 장면은 분리 알고리즘에 어려움을 줄 수 있습니다. 설정이 간단할수록 결과가 더 깔끔해지기 때문입니다.
요약하자면, 비디오 수정 후반 작업의 유연성을 획기적으로 향상시킨 혁신적인 기술입니다. 공연의 본질을 유지하면서도 그 전체 세계를 재구성할 수 있습니다. Adobe Firefly 호환성, 카메라 앵글 컨셉, 키프레임 제어 등 Ray 2의 새롭게 통합된 기능과 결합된 Luma AI는 크리에이터가 전례 없는 민첩성과 창의성으로 스토리를 전달할 수 있도록 지원합니다. 미묘한 스타일 수정부터 본격적인 초현실적 재해석까지, 이 진화하는 툴셋은 10초짜리 클립 하나에서 가능한 모든 것을 획기적으로 확장합니다.
시작 가이드
CometAPI는 수백 개의 AI 모델을 일관된 엔드포인트로 통합하는 통합 REST 인터페이스를 제공하며, 내장된 API 키 관리, 사용량 할당량 및 청구 대시보드를 통해 여러 공급업체 URL과 자격 증명을 일일이 관리할 필요가 없습니다.
개발자는 최신 정보에 액세스할 수 있습니다. 루마 API 을 통하여 코멧API시작하려면 모델의 기능을 탐색하세요. 운동장 그리고 상담하십시오 API 가이드 자세한 내용은 CometAPI를 참조하세요. 접속하기 전에 CometAPI에 로그인하고 API 키를 발급받았는지 확인하세요. 코멧API 공식 가격보다 훨씬 낮은 가격을 제공하여 통합을 돕습니다.
