Auto AI Video Editor
Un pipeline de montaj video condus de Claude Code: primește filmarea brută și livrează video-ul montat, cu tăieturi pe cuvânt, zoom, subtitrări, B-roll, efecte în cadru, muzică și verificare automată. Merge pentru Reels filmate cu telefonul, pentru prezentări de aplicații înregistrate pe ecran și pentru video-uri lungi.
Prezentare generală
Un skill Claude Code care conduce 56 de scripturi Python (~16.500 de linii) peste FFmpeg și mai multe modele AI. Filmarea brută e transcrisă cuvânt cu cuvânt, analizată vizual cu Gemini și curățată de pauze, „ăă”, bâlbâieli și reluări, cu fiecare tăietură verificată pe sunet. Apoi primește zoom-uri, subtitrări în stilul brandului, grafice animate și B-roll, efecte în cadru (text în spatele persoanei, fundal înlocuit), muzică și efecte sonore; la prezentările de ecran, o cameră virtuală urmărește ce explic. Două puncte de aprobare, planul de montaj și apoi previzualizarea, lasă controlul la mine, iar fiecare problemă întâlnită pe drum a devenit o regulă: 134 de lecții documentate în skill.
Problema de business
Montajul unui Reel de un minut durează ore: tăieturi pe fiecare pauză și „ăă”, subtitrări, B-roll, muzică, mixaj. Pentru volumul de conținut de care are nevoie un business mic, un editor plătit e scump și lent, iar uneltele automate taie doar după volumul sunetului, fără să înțeleagă ce se spune. Pipeline-ul face munca grea, iar eu doar aprob.
Arhitectură
- Skill Claude Code: Claude citește transcrierea și analiza vizuală, decide tăieturile și planul, apoi rulează scripturile pas cu pas
- Transcriere cuvânt cu cuvânt cu ElevenLabs Scribe v2 (Whisper local ca rezervă) și analiză vizuală cu Gemini
- Tăieturi exacte pe cadru: pauzele se iau din sunet (VAD), nu din transcriere, și se verifică să nu fie tăiat niciun cuvânt
- Motor de efecte în cadru: silueta persoanei (RVM), mâinile și fața (MediaPipe), 22 de tipuri de efecte
- Mod screen demo: fața și ecranul pe vertical, o cameră virtuală care încadrează ce spun (Gemini), evidențiere și bara de capitole
- Sunet: vocea originală, curățată cu Auphonic doar când e zgomot, muzică cu ducking, mixaj la −14 LUFS
- Verificare automată: sincronul, subtitrările peste față, artefactele din clipurile AI și o verificare vizuală cu Gemini
Funcționalități principale
- Tăieturi pe cuvânt: pauze, „ăă”, bâlbâieli, reluări
- Subtitrări cuvânt cu cuvânt, cu cuvinte-cheie evidențiate
- Zoom la fiecare idee nouă
- B-roll: stock, grafice animate, clipuri AI
- Efecte în cadru: text în spatele persoanei, fundal înlocuit
- Screen demo vertical, cu camera care urmărește explicația
- Muzică și efecte sonore, mixate automat
- Copertă și verificare automată înainte de livrare
Integrări
Sub capotă
Tăieturi care nu taie cuvinte
Pauzele vin din sunet (VAD), nu din capetele cuvintelor din transcriere, iar fiecare tăietură e verificată pe audio înainte de randare. „Ăă”-urile trase, pe care transcrierea le ratează, sunt prinse combinând două surse (Scribe și Auphonic): 12 din 12 în testul pe o filmare reală.
O cameră care înțelege ce spun
La o prezentare de ecran, Gemini numește, frază cu frază, zona despre care vorbesc, cu titlul ei, iar camera virtuală o încadrează lin. Elementul despre care vorbesc rămâne luminat, iar restul se întunecă. Decizia se ia cu toată secvența cunoscută, ca lumina să nu clipească.
Text în spatele persoanei
Un model de segmentare (RVM) separă persoana de fundal cadru cu cadru, așa că un text poate sta în spatele capului sau fundalul poate fi înlocuit. Mâinile și fața sunt urmărite cu MediaPipe, iar contrastul fiecărui text e verificat automat pe fundalul pe care cade.
De două ori mai rapid, aceeași imagine
Cadrele se compun în uint8, fișierele intermediare se comprimă rapid, iar efectele se randează doar unde apar. Un reel de test se randează acum în 9 minute în loc de 17, iar o prezentare de 9 minute în 59 de minute în loc de 83, cu imaginea identică la nivelul zgomotului de compresie și sunetul identic bit cu bit.
Tech stack
Rezultat
Montajul care îmi lua ore pornește acum dintr-o singură cerere către Claude, cu două aprobări pe drum: un Reel de 82 de secunde filmat pe plajă a devenit 49 de secunde montate, iar o înregistrare de ecran de 13 minute, o prezentare verticală de 9:10. Un Reel costă cam 0,30–0,40 $ în API-uri, iar pașii plătiți se generează doar după aprobare. Video-urile de mai sus arată exact ce se taie și ce se adaugă.