Veo 3.1 tạo âm thanh đồng bộ một cách nguyên bản cùng với video khi bạn gọi các endpoint Gemini/Vertex (Veo) — bạn điều khiển âm thanh qua prompt văn bản (gợi ý âm thanh, lời thoại, SFX, ambience) và cùng một tác vụ tạo sinh sẽ trả về một tệp MP4 để tải xuống. Nếu bạn muốn một API hợp nhất truy cập nhiều nhà cung cấp, CometAPI cũng cung cấp quyền truy cập Veo 3.1 (bạn gọi CometAPI bằng khóa Comet của mình và yêu cầu veo3.1/veo3.1-pro). Bản phát hành này được định vị là đối thủ trực tiếp của các mô hình media khác (ví dụ Sora 2 của OpenAI), với cải tiến tập trung vào độ chân thực âm thanh, kiểm soát mạch kể và tính liên tục đa cú máy.
Veo 3.1 là gì?
Veo 3.1 là phiên bản mới nhất của Google trong họ mô hình văn bản & hình ảnh → video Veo. So với các bản Veo trước, Veo 3.1 đặc biệt nhấn mạnh khả năng tạo âm thanh nguyên bản — nghĩa là mô hình tạo ra lời thoại đồng bộ, ambience, hiệu ứng âm thanh và gợi ý âm nhạc như một phần của đầu ra video, thay vì yêu cầu bước chuyển văn bản thành giọng nói (TTS) hoặc hậu kỳ riêng. Nó cũng mang tới các điều khiển kể chuyện mới (ảnh tham chiếu, chuyển tiếp khung hình đầu-cuối và tính năng mở rộng cảnh) nhằm giúp các câu chuyện đa cú máy mạch lạc hơn.
Vì sao điều đó quan trọng: âm thanh là cách người xem diễn giải không gian, cảm xúc, nhịp thời gian và quan hệ nhân quả. Tạo âm thanh nguyên bản (lời thoại khớp chuyển động môi, SFX được căn thời gian với sự kiện hiển thị, và bầu không khí nền khớp với địa lý cảnh) giúp giảm công việc thủ công để khiến một đoạn phim “thật” hơn và cho phép nhà sáng tạo lặp nhanh về câu chuyện và tâm trạng.
Veo 3.1 có thể tạo ra âm thanh — và có thể tạo những loại âm thanh nào?
Âm thanh được tạo ra như thế nào bên trong mô hình?
Veo 3.1 xem âm thanh là một phương thức đầu ra tích hợp của pipeline tạo video. Thay vì gửi khung hình video tới một engine TTS hoặc Foley riêng, quy trình tạo của Veo mô hình hóa chung luồng âm thanh và hình ảnh để thời gian, tín hiệu âm học và sự kiện thị giác nhất quán. Việc mô hình hóa chung đó cho phép các tương tác đối thoại, bầu cảnh âm thanh môi trường và SFX đồng bộ xuất hiện một cách tự nhiên, ăn khớp với hình ảnh được tạo. Đồng thời, 3.1 nêu bật “richer native audio” và khả năng tạo âm thanh đồng bộ như những cải tiến hàng đầu.
Vì sao năng lực âm thanh là một bước tiến lớn
Lịch sử, nhiều hệ thống văn bản → video tạo ra video không tiếng và để âm thanh cho một pipeline sau. Veo 3.1 thay đổi điều đó bằng cách tạo âm thanh ngay trong cùng lượt tạo — giúp giảm công việc trộn thủ công, tăng cường đồng bộ môi cho các câu ngắn, và cho phép prompt kiểm soát các sự kiện âm thanh có quan hệ nhân quả (ví dụ, “một chiếc cốc vỡ khi máy quay lia trái”). Điều này có ý nghĩa lớn đối với tốc độ sản xuất, thiết kế lặp và nguyên mẫu sáng tạo.
Veo 3.1 có thể tạo những loại âm thanh nào?
- Lời thoại / giọng nói — đối thoại nhiều người với thời gian khớp chuyển động môi và hành động.
- Âm thanh môi trường (ambient soundscapes) — âm thanh môi trường (gió, xe cộ, tiếng phòng) phù hợp địa lý cảnh.
- Hiệu ứng âm thanh (SFX) — va chạm, đóng mở cửa, bước chân, v.v., được căn thời gian với sự kiện nhìn thấy.
- Điểm nhạc (music cues) — mô-típ âm nhạc ngắn hoặc lớp nhạc nền theo cảm xúc phù hợp nhịp cảnh.
Các loại âm thanh này được tạo nguyên bản và chủ yếu được dẫn dắt bởi nội dung prompt thay vì các tham số âm thanh riêng.
Giới hạn kỹ thuật và độ dài
Mặc định, Veo 3.1 được thiết kế cho clip ngắn chất lượng cao (đầu ra 8 giây chất lượng cao trong một số luồng), nhưng mô hình cũng hỗ trợ mở rộng cảnh (Scene Extension) và cầu nối tạo sinh (khung đầu → khung cuối, kéo dài từ giây cuối cùng) để ghép các chuỗi đa clip dài hàng chục giây tới một phút hoặc hơn khi ghép qua Scene Extension.
Cách tạo âm thanh với Veo 3.1 (trực tiếp, qua Google Gemini / Vertex)
Bước 1: Điều kiện tiên quyết
- Tài khoản Google có quyền truy cập Gemini API / Vertex AI và khóa API / thông tin xác thực hợp lệ (Veo 3.1 đang ở giai đoạn trả phí xem trước trong nhiều con đường truy cập).
- Đã thiết lập client
genai/ Gemini của Google hoặc endpoint REST trong môi trường của bạn (hoặc client Vertex nếu bạn thích cloud console).
Bước 2: Chọn đúng mô hình và cách truy cập
Sử dụng veo-3.1-generate-preview (hoặc veo-3.1-fast nếu ưu tiên tốc độ/chi phí). Các chuỗi tên mô hình này xuất hiện trong ví dụ của Google cho truy cập xem trước. Bạn cần khóa Gemini API / Google AI trả phí (hoặc truy cập qua AI Studio / Vertex AI).
Bước 3: Ví dụ Python — client Gemini genai (khuyến nghị, sao chép/dán)
Ví dụ này cho thấy hình thức một lời gọi lập trình (Python, client google.genai). Nó minh họa cách cung cấp prompt văn bản chứa hướng dẫn âm thanh.
# pip install google-genai (làm theo hướng dẫn cài đặt SDK chính thức)
from google import genai
from google.genai import types
import time
client = genai.Client(api_key="YOUR_GOOGLE_API_KEY")
prompt = """
Scene: Con phố trung tâm mưa về đêm. Ánh neon phản chiếu trên mặt đường ướt.
Ambience: mưa xa liên tục và xe cộ chạy ngang.
SFX: phanh xe buýt và tiếng xì ở 2.3s; tiếng bật ô ở 0.6s.
Music: pad synth nhẹ vào ở 0.5s (độ mở chậm).
Dialogue:
ALICE (nhẹ, mệt): "I didn't think we'd still be here."
BOB (thở dài): "Neither did I. Let's go."
Visual: cận trung vào ALICE, máy quay dolly tiến.
"""
operation = client.models.generate_videos(
model="veo-3.1-generate-preview",
prompt=prompt,
config=types.GenerateVideosConfig(
duration_seconds=8,
aspect_ratio="16:9",
resolution="1080p",
number_of_videos=1
),
)
# Thăm dò cho tới khi xong (SDK trả về đối tượng operation để bạn thăm dò)
while not operation.done():
print("đang xử lý...")
time.sleep(2)
operation = operation.poll()
result = operation.response # xem tài liệu SDK để biết cấu trúc chính xác
video_url = result.generated_videos[0].video # URL hoặc base64 tùy SDK
print("Tải kết quả:", video_url)
Ghi chú: Tệp trả về thường là MP4 có kèm track âm thanh đã tạo. Yếu tố chính để điều khiển âm thanh ở trên là các hướng dẫn âm thanh mô tả được nhúng trong prompt. Veo 3.1 phản hồi các chỉ dẫn âm thanh bằng ngôn ngữ tự nhiên để tạo track âm thanh đồng bộ.
Bước 3 — Sử dụng ảnh tham chiếu và “Ingredients to video”
Để duy trì ngoại hình nhân vật và tín hiệu âm thanh nhất quán, bạn có thể truyền tối đa ba ảnh tham chiếu mà Veo dùng để bảo toàn phong cách hình ảnh và tính liên tục. Lời gọi tạo sinh tương tự hỗ trợ reference_images=[...]. Khuyến nghị dùng khi bạn muốn giọng nói hoặc âm thanh đặc trưng cho một nhân vật ổn định (ví dụ, tiếng kẽo kẹt của cánh cửa lặp lại).
Bước 4 — Mở rộng cảnh (Scene extension) với tính liên tục âm thanh
Veo 3.1 hỗ trợ “mở rộng cảnh”, nơi các clip mới được tạo dựa trên giây cuối của clip trước để tạo chuỗi dài hơn — và âm thanh được mở rộng theo cách bảo toàn tính liên tục (ambience nền, nhạc đang chạy, v.v.). Dùng tham số video=video_to_extend trong lời gọi generate_videos.
# Mã giả: mở rộng một clip trước đó đồng thời bảo toàn tính liên tục âm thanh
operation = client.models.generate_videos(
model="veo-3.1-generate-preview",
prompt="Tiếp tục cảnh: ánh sáng buổi sáng sáng dần, chim hải âu tiến lại gần; audio: swell chuyển vào tiếng dây nhẹ",
video=previous_clip_resource,
config=types.GenerateVideosConfig(duration_seconds=10),
)
Bước 5 — Bắc cầu giữa khung hình đầu & cuối (kèm âm thanh)
Nếu bạn muốn chuyển tiếp mượt giữa hai khung hình (ví dụ, biến đổi từ cảnh ngày sang hoàng hôn), hãy cung cấp image=first_frame và last_frame=last_frame và thêm chỉ dẫn âm thanh trong prompt. Veo sẽ tạo các khung chuyển tiếp cùng âm thanh phản ánh tiến trình thị giác. Veo thường trả về một track âm thanh trộn duy nhất bên trong MP4.
Sử dụng các công cụ âm thanh trong Veo 3.1 như thế nào?
1) CometAPI làm gì và vì sao nên dùng
CometAPI cung cấp cho bạn một REST endpoint kiểu OpenAI duy nhất để truy cập nhiều mô hình (bao gồm Veo của Google). Điều này hữu ích nếu bạn muốn một điểm tích hợp duy nhất (thanh toán, hạn ngạch, tương thích SDK) và không muốn quản lý nhiều khóa nhà cung cấp. Comet ghi nhận rằng Veo 3.1 nằm trong số các mô hình video của họ.
2) Quy trình cơ bản để gọi Veo 3.1 qua CometAPI
- Đăng ký tại CometAPI và tạo khóa API.
- Xác nhận chính xác định danh mô hình trong danh mục của Comet ("Veo 3.1"/"veo3.1-pro").
- Sử dụng endpoint kiểu OpenAI của CometAPI (hoặc SDK của họ) và đặt trường
modelthành tên mô hình Veo. Comet sẽ định tuyến yêu cầu của bạn tới Google thay bạn.
Veo3.1 Async Generation, API này được triển khai qua công nghệ tự phát triển của chúng tôi với các giới hạn sau: Thời lượng video cố định ở 8 giây và không thể tùy chỉnh
Vui lòng liên hệ hỗ trợ kỹ thuật nếu bạn gặp vấn đề
Ví dụ yêu cầu
curl -X POST https://api.cometapi.com/v1/videos \
-H "Authorization: Bearer $COMETAPI_KEY" \
-F "model=veo3.1" \
-F "prompt=Một chú voi bay dí dỏm đang lượn trên một thành phố rực rỡ màu kẹo" \
-F "size=16x9" \
-F "input_reference=@first_frame.png" \
-F "input_reference=@last_frame.png"
Thực hành tốt nhất cho prompt nhận thức âm thanh với Veo 3.1?
Thiết kế prompt cho âm thanh tốt (nên bao gồm gì)
Sử dụng các “làn âm thanh” có cấu trúc trong prompt. Các khối khuyến nghị tối thiểu:
Scene: mô tả ngắn (địa điểm, ánh sáng, máy quay)
Ambience: ví dụ "mưa xa, tiếng xe cộ bị bóp nghẹt"
SFX: "đóng sầm cửa ở 1.6s; bước chân L→R bắt đầu 0.8s"
Music: "pad piano nhẹ, mở chậm, vào ở 0.5s"
Dialogue:
ALICE (nhẹ, mệt mỏi): "I didn't think we'd make it."
BOB (ngập ngừng, rồi): "We did."
Action: chuyển động máy quay, hành động nhân vật để đồng bộ SFX
Mẹo chính: gắn nhãn các làn, thêm các mốc thời gian ngắn (ví dụ at 1.6s), mô tả cách thể hiện cảm xúc & đặc tính âm thanh (ví dụ, “reverb nhẹ, mở chậm”), và nếu cần pan stereo hãy chú thích L / R hoặc L→R. Thông thường sẽ cần lặp — tạo clip ngắn (4–8s), rồi mở rộng.
Cấu trúc và sắc thái prompt
- Dùng làn có cấu trúc: gắn nhãn các khối “Ambience:”, “SFX:”, “Music:” và “Dialogue:”. Trình tạo hoạt động tốt hơn với mẫu dự đoán được.
- Cụ thể về thời gian: các mốc thời gian ngắn (ví dụ, “sfx: đóng sầm cửa ở 1.6s”) giúp đồng bộ chặt chẽ. Nếu cần độ chính xác cấp khung hình, hãy lặp và tinh chỉnh.
- Mô tả đặc tính âm thanh: thay vì “synth”, hãy nói “pad nhẹ với mở chậm, cảm giác 80 BPM” để điều chỉnh tâm trạng âm nhạc.
Nhất quán thị giác → âm thanh
Nếu bạn cung cấp ảnh tham chiếu hoặc khung đầu, hãy nói rõ âm thanh nên xuất phát từ đâu (ví dụ, “Ambience: thành phố bị bóp nghẹt từ bên trái, gần máy quay; xe chạy ngang nên pan L→R”). Điều này dẫn đến tín hiệu stereo hợp lý hơn và khả năng định vị nguồn âm.
Quy trình lặp
- Tạo clip ngắn (4–8s) và đánh giá đồng bộ âm thanh.
- Nếu bạn cần mạch kể dài hơn, dùng Scene Extension để phát triển clip đồng thời bảo toàn giây cuối làm hạt giống liên tục.
- Với tính nhất quán nhân vật (âm sắc, giọng), hãy dùng ảnh tham chiếu và lặp lại các mô tả giọng giữa các clip. Cân nhắc dùng các “neo giọng” văn bản ngắn (ví dụ, “ALICE — giọng mid-Atlantic nhẹ”) để giữ giọng ổn định.
Ghi chú hậu kỳ
Veo cung cấp một MP4 ban đầu với âm thanh nhúng. Đối với trộn nâng cao (stem đa kênh, tách stem lời thoại/nhạc), bạn vẫn có thể cần tách và biên soạn lại âm thanh trong DAW — Veo chủ yếu tạo một tệp tích hợp. Quy trình bên thứ ba thường kết hợp Veo để tạo nền và chỉnh sửa trong DAW cho bản phối chất lượng phát hành.
Ví dụ prompt (có thể sao chép-dán)
1 — Ambience tự nhiên + hiệu ứng + lời thoại ngắn
Prompt: Cảnh rộng một quán ăn sáng vắng lúc 6:00 AM. Audio: tiếng tủ lạnh rì rầm, xe xa, một tiếng va ly cà phê. Lót guitar mộc nhẹ. Dialogue (phụ nữ, mệt): "Buổi sáng chưa bao giờ yên tĩnh đến thế." Đồng bộ tiếng va với cú pan máy quay ở 2.5s.
2 — Nhịp hành động nhiều Foley
Prompt: Cận trung một người giao hàng chạy qua khu chợ. Audio: bước chân vội trên đá cuội, vải chà sát, tiếng người bán vọng xa nền. Ở 0.8s thêm tiếng leng keng kim loại từ chùm chìa khóa. Nhạc gõ nhanh có nhịp fade in ở 3s.
3 — Ambience điện ảnh + giọng nhân vật
Prompt: Nội cảnh phòng làm việc thắp sáng bằng nến. Audio: lò sưởi tí tách, lật trang sách, tứ tấu dây nhẹ ở nền. Dialogue (ông già): "Có những câu chuyện tự mang hơi ấm của mình." Giữ mô-típ dây tinh tế và ấm.
4— Lời thoại chặt + SFX (clip ngắn, thời gian rõ ràng)
"Prompt: Nội cảnh: hiệu sách bừa bộn lúc 7pm. Máy quay pan phải tới một người đàn ông làm rơi sách.
Hướng dẫn audio:
- Ambience: hiệu sách yên tĩnh với mưa đập vào cửa sổ.
- Dialogue: Speaker A (nhẹ): 'Lo siento...' ở 1.2s. Speaker B (dứt khoát): 'No te preocupes.' ở 2.1s.
- SFX: Tiếng sách rơi ở 1.15s. Cường độ mưa tăng ở 3.5s.
Style: thân mật, điện ảnh. Đồng bộ môi và SFX phải khớp mốc thời gian."
5 — Cảnh ưu tiên ambience (tâm trạng, ít ràng buộc SFX)
"Prompt: Lối đi bộ ven biển lúc hoàng hôn. Tạo cảnh âm thanh mơ màng với chim hải âu, nhạc xa từ radio và sóng cuộn. Không có lời thoại. Ưu tiên lớp nhạc nền chậm, dâng nhẹ dưới ambience. Style: phim tài liệu hoài niệm."
6 — Cuộc trò chuyện nhiều người (so le)
"Prompt: Hai người trong một khu chợ đông đúc, nói tiếng Anh và đôi khi tiếng Nhật — câu ngắn. Gắn thẻ diễn giả rõ ràng. Thêm tiếng người bán xen kẽ (ambience chợ) và SFX xe máy chạy ngang ở 2.4s."
Âm thanh của Veo 3.1 so với âm thanh của Sora 2 như thế nào?
Cả hai Veo 3.1 và Sora 2 của OpenAI đều hỗ trợ đầu ra âm thanh đồng bộ gắn với video được tạo. Chúng được định vị là mô hình tạo media chủ lực từ các nhà cung cấp tương ứng và nhấn mạnh tính nhất quán audio-video chân thực. Cả hai đều công bố API.
Khác biệt chính
- Tập trung mô hình & độ dài: Veo 3.1 nhấn mạnh khả năng kiểm soát với các tính năng như khung đầu/cuối, mở rộng cảnh cho chuỗi dài hơn, và điều kiện hóa ảnh tham chiếu để bảo toàn nhân vật và tính liên tục âm thanh qua các cú máy. Sora 2 được giới thiệu như mô hình chủ lực tạo video với âm thanh đồng bộ; Sora 2 Pro nhấn mạnh độ trung thực cao và cân bằng tinh chỉnh giữa chất lượng và chi phí (tier Sora 2 Pro cho độ trung thực cao hơn). Veo 3.1 nêu bật rõ mở rộng cảnh và chuỗi đa-prompt.
- Tích hợp nền tảng: Veo 3.1 tích hợp xuyên suốt hệ sinh thái Gemini của Google (ứng dụng Gemini, Flow, Gemini API, Vertex AI) trong khi Sora 2 được trình bày như mô hình nền tảng của OpenAI với endpoint API và ứng dụng Sora cho iOS; giá và cấu trúc endpoint khác nhau (tài liệu Sora 2 hiển thị các tier tính phí theo giây). Hãy chọn dựa trên hạ tầng đám mây hiện có và nhu cầu tuân thủ của bạn.
- Điều khiển video chi tiết: Veo 3.1 nêu nhiều điều khiển sáng tạo cụ thể (Ingredients to Video, Scene Extension, Khung Đầu/Cuối) giúp giảm thời gian lặp cho quy trình kể chuyện. Sora 2 tập trung vào âm thanh đồng bộ và độ chính xác vật lý trong chuyển động; cả hai đều có điều khiển, nhưng ngôn ngữ và SDK khác nhau.
Hệ quả thực tiễn cho dự án nặng âm thanh
Nếu bạn ưu tiên video một cú máy chất lượng cao với âm thanh đồng bộ và mô hình tính phí theo giây đơn giản → Sora 2 là đối thủ mạnh; hãy thử cả hai trên tài sản và ngân sách của bạn.
Nếu bạn cần mạch kể liên tục dài với mô-típ âm thanh nhất quán qua các cú máy → Scene Extension và điều kiện hóa ảnh tham chiếu của Veo 3.1 khiến nó hấp dẫn.
Kết luận cuối: Khi nào nên dùng Veo 3.1 (khuyến nghị tập trung âm thanh)
Dùng Veo 3.1 khi bạn cần các chuỗi đa cú máy được kiểm soát với nhân vật nhất quán, âm thanh tích hợp hỗ trợ tính liên tục kể chuyện. Thế mạnh riêng của Veo 3.1 là mở rộng cảnh, điều khiển khung đầu/cuối và điều kiện hóa ảnh tham chiếu — tất cả khiến nó tuyệt vời cho nội dung ngắn dạng chuỗi hoặc tập có tính liên tục âm thanh.
Nhà phát triển có thể truy cập Veo 3.1 và Sora 2 qua CometAPI. Để bắt đầu, hãy khám phá năng lực mô hình của CometAPI trong Playground và tham khảo hướng dẫn API để biết chỉ dẫn chi tiết. Trước khi truy cập, vui lòng đảm bảo bạn đã đăng nhập CometAPI và lấy khóa API. CometAPI cung cấp mức giá thấp hơn nhiều so với giá chính thức để giúp bạn tích hợp.
Sẵn sàng bắt đầu?→ Dùng thử miễn phí Veo 3.1!