Veo 3.1 natywnie generuje zsynchronizowany dźwięk razem z obrazem podczas wywołania endpointów Gemini/Vertex (Veo) — sterujesz dźwiękiem poprzez prompt tekstowy (wskazówki audio, kwestie dialogowe, SFX, ambience), a to samo zadanie generacyjne zwraca plik MP4 do pobrania. Jeśli wolisz jedno ujednolicone API obejmujące wielu dostawców, CometAPI także oferuje dostęp do Veo 3.1 (wywołujesz CometAPI z kluczem Comet i prosisz o veo3.1/veo3.1-pro). Wydanie jest pozycjonowane jako bezpośredni konkurent innych modeli medialnych (na przykład Sora 2 od OpenAI), z usprawnieniami skoncentrowanymi na realizmie audio, kontroli narracji i spójności między ujęciami.
Czym jest Veo 3.1?
Veo 3.1 to najnowsza iteracja rodziny modeli Google Veo do generowania wideo z tekstu i obrazu. W porównaniu z wcześniejszymi wydaniami Veo, Veo 3.1 w szczególności podkreśla natywne generowanie dźwięku — czyli model wytwarza zsynchronizowane dialogi, tła dźwiękowe, efekty oraz muzyczne wskazówki jako część wygenerowanego wideo, bez konieczności oddzielnego TTS czy etapu postprodukcji. Przynosi też nowe narzędzia narracyjne (obrazy referencyjne, przejścia między pierwszą i ostatnią klatką oraz funkcje rozszerzania scen), które mają na celu większą spójność wieloujęciowych historii.
Dlaczego to ważne: dźwięk to sposób, w jaki widzowie interpretują przestrzeń, emocje, rytm i związki przyczynowo‑skutkowe. Natywne generowanie audio (dialog zsynchronizowany z ruchem ust, SFX zgrane z widocznymi zdarzeniami i tła adekwatne do geografii sceny) ogranicza ręczną pracę potrzebną, by klip „brzmiał” realistycznie, i pozwala twórcom szybciej iterować nad opowieścią i nastrojem.
Czy Veo 3.1 potrafi generować dźwięk — i jakie jego rodzaje?
Jak model generuje dźwięk?
Veo 3.1 traktuje dźwięk jako zintegrowaną modalność wyjściową w potoku generowania wideo. Zamiast wysyłać klatki wideo do oddzielnego silnika TTS czy Foley, proces generacji w Veo wspólnie modeluje strumienie audio i wideo, tak by timing, wskazówki akustyczne i zdarzenia wizualne były spójne. To wspólne modelowanie umożliwia naturalnie zestrojone z obrazem dialogi, pejzaże dźwiękowe i zsynchronizowane SFX, a także przynosi „bogatszy natywny dźwięk” i generowanie dźwięku w synchronizacji jako kluczowe ulepszenia w wersji 3.1.
Dlaczego możliwości audio są tak ważne
Historycznie wiele systemów text‑to‑video wytwarzało nieme wideo, a dźwięk pozostawiano na późniejszy etap. Veo 3.1 zmienia to, generując audio w tym samym przebiegu co obraz — co zmniejsza wysiłek miksowania, poprawia lip‑sync przy krótkich kwestiach i pozwala promptami sterować zdarzeniami dźwiękowymi zależnymi od obrazu (np. „szkło się tłucze, gdy kamera tnie w lewo”). Ma to istotne konsekwencje dla szybkości produkcji, iteracyjnego projektowania i kreatywnego prototypowania.
Jakie rodzaje dźwięku może tworzyć Veo 3.1?
- Dialog/mowa — dialogi wielomówcowe z timingiem odpowiadającym ruchom ust i działaniom.
- Pejzaże dźwiękowe (ambience) — dźwięki środowiskowe (wiatr, ruch uliczny, „room tone”) dopasowane do geografii sceny.
- Efekty dźwiękowe (SFX) — uderzenia, trzaski, drzwi, kroki itd., zsynchronizowane ze zdarzeniami wizualnymi.
- Wskazówki muzyczne — krótkie motywy muzyczne lub podkład nastrojowy dopasowany do tempa sceny.
Te rodzaje audio są generowane natywnie i prowadzone przede wszystkim przez treść promptu, a nie oddzielne parametry audio.
Ograniczenia techniczne i długość
Domyślnie Veo 3.1 jest zaprojektowane pod wysokiej jakości krótkie klipy (dla niektórych ścieżek 8‑sekundowe wyjścia HQ), ale model obsługuje też „scene extension” i mostki generacyjne (pierwsza→ostatnia klatka, rozszerzenie od ostatniej sekundy), które pozwalają składać wieloklipowe sekwencje trwające kilkadziesiąt sekund do minuty i więcej przy użyciu Scene Extension.
Jak generować dźwięk z Veo 3.1 (bezpośrednio, przez Google Gemini/Vertex)
Krok 1: Wymagania wstępne
- Konto Google z dostępem do Gemini API/Vertex AI i ważnym kluczem API/poświadczeniami (Veo 3.1 jest w płatnym preview dla wielu ścieżek dostępu).
- Skonfigurowany w środowisku klient Google
genai/Gemini lub endpoint REST (ewentualnie klient Vertex, jeśli wolisz konsolę chmury).
Krok 2: Wybierz odpowiedni model i dostęp
Użyj veo-3.1-generate-preview (lub veo-3.1-fast, jeśli priorytetem są szybkość/koszt). Te nazwy modeli pojawiają się w przykładach Google dla dostępu preview. Potrzebujesz płatnego klucza Gemini API/Google AI (lub dostępu przez AI Studio/Vertex AI).
Krok 3: Przykład w Pythonie — klient Gemini genai (zalecany, skopiuj/wklej)
# pip install google-genai (follow official SDK install)
from google import genai
from google.genai import types
import time
client = genai.Client(api_key="YOUR_GOOGLE_API_KEY")
prompt = """
Scene: Rainy downtown street, night. Neon reflections on wet pavement.
Ambience: continuous distant rain and passing cars.
SFX: bus brakes and hiss at 2.3s; umbrella snap at 0.6s.
Music: subtle synth pad enters at 0.5s (slow attack).
Dialogue:
ALICE (soft, tired): "I didn't think we'd still be here."
BOB (sighing): "Neither did I. Let's go."
Visual: medium close-up on ALICE, camera dolly forward.
"""
operation = client.models.generate_videos(
model="veo-3.1-generate-preview",
prompt=prompt,
config=types.GenerateVideosConfig(
duration_seconds=8,
aspect_ratio="16:9",
resolution="1080p",
number_of_videos=1
),
)
# Poll until done (SDK returns an operation object you can poll)
while not operation.done():
print("processing...")
time.sleep(2)
operation = operation.poll()
result = operation.response # check SDK docs for exact structure
video_url = result.generated_videos[0].video # URL or base64 depending on SDK
print("Download result:", video_url)
Uwaga: Zwracany plik to zazwyczaj MP4 zawierający wygenerowaną ścieżkę audio. Kluczowym elementem kontroli dźwięku jest opisowa instrukcja audio w promptcie. Veo 3.1 reaguje na naturalnojęzykowe wskazówki audio, aby generować zsynchronizowane ścieżki dźwiękowe.
Krok 3 — Korzystanie z obrazów referencyjnych i „Ingredients to video”
Aby zachować spójność wyglądu postaci i wskazówek akustycznych, możesz przekazać do trzech obrazów referencyjnych, których Veo użyje do utrzymania stylu wizualnego i ciągłości. Ten sam call generacyjny obsługuje reference_images=[...]. Jest to zalecane, gdy oczekujesz spójnych głosów lub nawykowych dźwięków postaci (np. skrzypienie powracających drzwi).
Krok 4 — Rozszerzanie scen (Scene extension) z ciągłością audio
Veo 3.1 obsługuje „scene extension”, w którym nowe klipy są generowane na podstawie ostatniej sekundy poprzedniego, aby stworzyć dłuższe sekwencje — a dźwięk jest rozszerzany w sposób zachowujący ciągłość (tła, trwająca muzyka itd.). Użyj parametru video=video_to_extend w wywołaniu generate_videos.
# Pseudocode: extend a previous clip while preserving audio continuity
operation = client.models.generate_videos(
model="veo-3.1-generate-preview",
prompt="Continue the scene: morning light brightens, seagulls move closer; audio: swell builds into light strings",
video=previous_clip_resource,
config=types.GenerateVideosConfig(duration_seconds=10),
)
Krok 5 — Łączenie pierwszej i ostatniej klatki (z dźwiękiem)
Jeśli chcesz płynnego przejścia między dwiema klatkami (np. przejście dnia w zmierzch), podaj image=first_frame i last_frame=last_frame i uwzględnij kierunek audio w promptcie. Veo wygeneruje klatki przejściowe oraz dźwięk odzwierciedlający progresję obrazu. Veo zazwyczaj zwraca pojedynczą zmiksowaną ścieżkę audio wewnątrz MP4.
Jak korzystać z narzędzi audio w Veo 3.1?
1) Czym jest CometAPI i dlaczego warto
CometAPI zapewnia jedno, w stylu OpenAI, endpoint REST do dostępu do wielu modeli (w tym Google Veo). To przydatne, jeśli chcesz mieć jeden punkt integracji (rozliczenia, limity, spójność SDK) i nie zarządzać wieloma kluczami dostawców. Comet dokumentuje, że Veo 3.1 jest dostępne wśród modeli wideo.
2) Podstawowy przebieg wywołania Veo 3.1 przez CometAPI
- Zarejestruj się w CometAPI i utwórz klucz API.
- Potwierdź dokładny identyfikator modelu w katalogu Comet („Veo 3.1”/„veo3.1-pro”).
- Użyj endpointu CometAPI w stylu OpenAI (lub ich SDK) i ustaw pole
modelna nazwę modelu Veo. Comet przekieruje żądanie do Google w Twoim imieniu.
Veo3.1 Async Generation, This API is implemented through our self-developed technology with the following limitations: Video duration is fixed at 8 seconds and cannot be customized
Please contact technical support if you encounter any issues
Przykładowe żądanie
curl -X POST https://api.cometapi.com/v1/videos \
-H "Authorization: Bearer $COMETAPI_KEY" \
-F "model=veo3.1" \
-F "prompt=A whimsical flying elephant soaring over a vibrant candy-colored cityscape" \
-F "size=16x9" \
-F "input_reference=@first_frame.png" \
-F "input_reference=@last_frame.png"
Jakie są najlepsze praktyki tworzenia promptów z uwzględnieniem audio w Veo 3.1?
Projektowanie promptu pod dobre audio (co zawrzeć)
Scene: short description (location, lighting, camera)
Ambience: e.g. "distant rain, muffled traffic"
SFX: "door slam at 1.6s; footsteps L→R starting 0.8s"
Music: "soft piano pad, slow attack, enters at 0.5s"
Dialogue:
ALICE (soft, weary): "I didn't think we'd make it."
BOB (pause, then): "We did."
Action: camera moves, character actions to sync SFX
Kluczowe wskazówki: oznaczaj „ścieżki” (lane) etykietami, dodawaj krótkie kotwice czasowe (np. „o 1,6 s”), opisuj sposób artykulacji i charakter brzmienia (np. „delikatny pogłos, wolny atak”). Jeśli potrzebujesz panoramowania stereo, oznacz L/R lub L→R. Iteracja jest typowa — wygeneruj krótki klip (4–8 s), potem rozszerzaj.
Struktura i ton promptu
- Używaj uporządkowanych „ścieżek”: etykietuj bloki „Ambience:”, „SFX:”, „Music:” i „Dialogue:”. Generatory lepiej reagują na przewidywalne wzorce.
- Bądź precyzyjny z timingiem: krótkie kotwice czasowe (np. „sfx: door slam at 1.6s”) pomagają w ciasnej synchronizacji. Jeśli potrzebna jest precyzja klatkowa, iteruj i doprecyzuj.
- Opisuj charakterystykę dźwięku: zamiast „syntezator” napisz „miękki pad z wolnym atakiem, feeling 80 BPM”, by ukierunkować nastrój muzyki.
Spójność obraz → dźwięk
Jeśli podajesz obraz referencyjny lub klatkę początkową, zaznacz, skąd dźwięk ma pochodzić (np. „Ambience: przytłumione miasto z lewej, bliżej kamery; przejazd samochodu powinien panoramować L→R”). To daje bardziej wiarygodne wskazówki stereo i lokalizację źródeł.
Przebieg iteracji
- Wygeneruj krótki klip (4–8 s) i oceń synchronizację audio.
- Jeśli potrzebujesz dłuższej narracji, użyj „Scene Extension”, by rozbudować klip, zachowując ostatnią sekundę jako ziarno ciągłości.
- Dla spójności postaci (barwa głosu, akcent) używaj obrazów referencyjnych i powtarzaj deskryptory głosu między klipami. Rozważ krótkie powtarzalne „kotwice głosu” w tekście (np. „ALICE — miękki akcent mid‑Atlantic”), aby utrzymać stabilność głosu.
Uwagi postprodukcyjne
Veo daje wyjściowe MP4 z osadzonym dźwiękiem. Do zaawansowanego miksu (wielokanałowe stemmy, oddzielne ścieżki dialog/muzyka) wciąż możesz potrzebować wyodrębnić i złożyć audio w DAW — Veo służy przede wszystkim do zintegrowanej generacji pojedynczego pliku. Zewnętrzne workflow często łączą Veo do bazowej generacji i edycję w DAW dla miksów dystrybucyjnych.
Przykładowe prompty (gotowe do skopiowania i wklejenia)
1 — Naturalnie brzmiące tło + efekt + krótki dialog
Prompt: Wide shot of an empty diner at 6:00 AM. Audio: humming refrigerator, distant traffic, a single coffee cup clink. Soft acoustic guitar underlay. Dialogue (woman, tired): "Morning's never been this quiet." Sync the clink with the camera pan at 2.5s.
2 — Akcent na Foley i SFX
Prompt: Medium close-up of a courier running through a marketplace. Audio: hurried footsteps on cobblestones, cloth brushing, vendors shouting faintly in background. At 0.8s add a metallic jingle from keys. Fast, rhythmic percussive music fades in at 3s.
3 — Filmowy ambience + głos postaci
Prompt: Interior study lit by candlelight. Audio: crackling fireplace, turning pages, soft string quartet in the background. Dialogue (old man): "Some stories carry their own warmth." Keep the string motif subtle and warm.
4— Zwarty dialog + SFX (krótki klip, jawny timing)
"Prompt: Interior: cluttered bookstore at 7pm. Camera pans right to a man dropping a book.
Audio instructions:
- Ambience: quiet bookstore with rain hitting the windows.
- Dialogue: Speaker A (soft): 'Lo siento...' at 1.2s. Speaker B (firm): 'No te preocupes.' at 2.1s.
- SFX: Book thud at 1.15s. Rain intensity increases at 3.5s.
Style: intimate, cinematic. Lip sync and SFX must match timings."
5 — Ambience‑first (nastrój, mniej rygorystyczne SFX)
"Prompt: A seaside boardwalk at sunset. Create a dreamy soundscape with gulls, distant music from a radio, and rolling waves. No spoken lines. Prefer a slow, swelling musical bed under the ambience. Style: nostalgic documentary."
6 — Rozmowa wielomówcowa (staged)
"Prompt: Two people in a busy market, speaking in English and occasionally in Japanese — short lines. Tag speakers clearly. Include periodic vendor shouts (market ambience) and a passing motorcycle SFX at 2.4s."
Jak audio w Veo 3.1 wypada na tle audio w Sora 2?
Oba — Veo 3.1 i Sora 2 od OpenAI — obsługują zsynchronizowane wyjście audio powiązane z generowanym wideo. Są pozycjonowane jako flagowe modele do generowania mediów u swoich dostawców i kładą nacisk na realistyczną koherencję obrazu z dźwiękiem. Oba publikują API.
Kluczowe różnice
- Skupienie modelu i długość: Veo 3.1 akcentuje sterowalność funkcjami takimi jak first/last frame, Scene Extension dla dłuższych sekwencji oraz jawne kondycjonowanie obrazami referencyjnymi, by zachować spójność postaci i ciągłość audio w ujęciach. Sora 2 jest przedstawiana jako flagowy model generujący wideo ze zsynchronizowanym dźwiękiem; Sora 2 Pro podkreśla wysoką wierność i dostrojone kompromisy między jakością a kosztem (wariant Pro dla wyższej wierności). Veo 3.1 wyraźnie podkreśla Scene Extension i sekwencje wielopromptowe.
- Integracja z platformą: Veo 3.1 jest zintegrowane w ekosystemie Google Gemini (aplikacja Gemini, Flow, Gemini API, Vertex AI), podczas gdy Sora 2 to model platformowy OpenAI z endpointami API i aplikacją Sora na iOS; różnią się cenniki i struktury endpointów (dokumentacja Sora 2 prezentuje stawki za sekundę). Wybieraj zgodnie z posiadanym środowiskiem chmurowym i wymaganiami compliance.
- Precyzyjne sterowanie wideo: Veo 3.1 wymienia kilka konkretnych narzędzi kreatywnych (Ingredients to Video, Scene Extension, First/Last Frame), które skracają iteracje przy pracy narracyjnej. Sora 2 skupia się na zsynchronizowanym audio i fizycznej wiarygodności ruchu; oba oferują kontrolę, ale ich idiomy i SDK różnią się.
Praktyczne implikacje dla projektów z naciskiem na audio
Jeśli priorytetem jest gotowy „out‑of‑the‑box” pojedynczy klip o wysokiej wierności ze zsynchronizowanym dźwiękiem i prosty model rozliczeń „per sekunda” → Sora 2 to mocny konkurent; testuj oba pod docelowe zasoby i budżety.
Jeśli potrzebujesz długiej, ciągłej narracji ze spójnymi motywami audio między ujęciami → Veo 3.1 z Scene Extension i kondycjonowaniem obrazami referencyjnymi jest atrakcyjne.
Ostateczna rekomendacja: kiedy używać Veo 3.1 (podejście audio‑centryczne)
Używaj Veo 3.1, gdy potrzebujesz kontrolowanych sekwencji wieloujęciowych ze spójnymi postaciami i zintegrowanym dźwiękiem wspierającym ciągłość narracji. Wyróżniki Veo 3.1 to Scene Extension, kontrola first/last frame i kondycjonowanie obrazami referencyjnymi — wszystko to sprawia, że model świetnie nadaje się do krótkich, seryjnych form z ciągłością audio.
Deweloperzy mogą uzyskać dostęp do Veo 3.1 i Sora 2 przez CometAPI. Aby zacząć, poznaj możliwości modeli w CometAPI w Playground i zapoznaj się z przewodnikiem API po szczegóły. Przed dostępem upewnij się, że zalogowałeś się do CometAPI i uzyskałeś klucz API. CometAPI oferuje cenę znacznie niższą niż oficjalna, aby ułatwić integrację.
Gotowy, by zacząć? → Bezpłatny okres próbny Veo 3.1!