Animationsindustrien står ved en kritisk skillevej. Midt i skiftende prioriteter, jobangst og eksplosionen af generativ AI siden 2023, føler mange kreative, at jorden glider under deres fødder.
Online-reaktioner mod AI-støttede projekter er hyppige og voldsomme, som Amazons GenAI Creators’ Fund-kontroverser viste. Mange kunstnere er fast besluttede på at undgå teknologien helt, men en animator har valgt en anden tilgang og arbejder direkte med et af verdens største AI-forskningslaboratorier.
Efter at have skåret sine tænder som CG-generalist på Netflix-projekter, før hun fik en rolle som historiekunstner på Pixars Inside Out 2, tog Connie He et uventet spring til Google DeepMind. Der har hun instrueret Dear Upstairs Neighbor, en animeret kortfilm bygget med original kunst som referencer til en unik generativ AI-animationspipeline (se traileren nedenfor).
Jeg fangede Connie for at finde ud af, hvorfor hun besluttede at krydse skellet, hvordan hendes team byggede en pipeline, der respekterer menneskeligt håndværk, og hvorfor hun mener, at i stedet for at producere generisk AI-slop, kan Generativ AI faktisk hjælpe med at gøre animation mere mangfoldig.
Connie indrømmer, at hun har oplevet en periode med dyb indre konflikt, da værktøjer som Midjourney og DALL-E først dukkede op, men da hun så den umiddelbare indvirkning på sektoren, besluttede hun, at det ikke var en mulighed at ignorere teknologien.
“Motivationen til at begynde at hoppe i er, fordi jeg føler, at hvis denne teknologi vil blive ved med at udvikle sig, er kunstnere nødt til at blive i samtalen i stedet for at vige tilbage,” fortalte hun mig. “Vi skal bygge en bro og have denne samtale med de mennesker, der bygger teknologien, og opbygge en gensidig forståelse af, hvad kreativitet er, og hvad kunstnere har brug for.”
For hende kom gennembrudsøjeblikket fra en usandsynlig kilde: et vintageinterview, hvor den islandske musiker Björk diskuterede folks syn på elektronisk musik. “Folk taler altid til mig, som om computermusik ikke har en sjæl, men den har ikke en sjæl, fordi du ikke har lagt sjæl i det.” animatoren husker at Björk sagde. “Det øjeblik var en slags oplysningsmoment for mig. Spørgsmålet bliver: hvordan kan du sprøjte dig selv ind i det? Det er et værktøjsspørgsmål.”
For dem, der bekymrer sig om, at AI betyder at skrive en tekstprompt og lade en maskine gøre arbejdet, demonstrerer Dear Upstairs Neighbor en anden plan.
Den korte fortæller historien om Ada og hendes søvnbesvær på grund af støjende naboer. Det er en simpel fortælling med nogle overraskende drejninger fortalt gennem en visceral kunststil, der søger at fange karakterens stigende desperation.
Projektet afviste tekst-til-video-generering fuldstændigt og fokuserede i stedet på billed-til-video-pipeline ved hjælp af håndtegnet kunst og specialtrænede maskinlæringsmodeller.
Hvert karakterdesign, storyboard og konceptkunst er skabt af menneskelige kunstnere. Connie malede selv en række abstrakte akryl på papir, der blev scannet og brugt til at træne brugerdefinerede modeller eller LoRA’er. Disse blev derefter brugt i en hybrid 2D/3D-animationsproces sammen med Maya, et af de bedste animationsprogrammer. Resultatet er et komplekst, tekstureret “levende maleri”-look, som traditionelle CG-animationspipelines simpelthen ikke ville være i stand til at kopiere.
“I computergrafik er det altid svært, fordi alt vil se CG ud – det er hvordan renderingssystemerne er bygget, og tingene bevæger sig på en CG-måde,” bemærker Connie. “Men maskinlæringsmodellen er i stand til at opfange de designregler, vi giver den, noget du ikke kan få med computergrafik. Kunne du gøre det med traditionel 2D-maling? Teknisk set ja, men det ville nok tage dig 10 år.”
Traditionelle CG-animationsrørledninger er stærkt siloerbelagte, hvor kunstnere afleverer arbejde for at rendere gårde. Connie siger, at hun hos DeepMind arbejder hånd i hånd med softwareingeniører for at bygge værktøjer, der prioriterer kunstnerisk kontrol over automatisering.
Da holdet løb ind i en klassisk AI-hurtigflimmer, samarbejdede hun med en forsker om at bygge et brugerdefineret system ved hjælp af masker eksporteret fra Maya for at stabilisere karakterens ansigt, samtidig med at håret og baggrunden tillod en grynet, malende flimmer, når det var ønsket for at afspejle Adas følelsesmæssige tilstand.
“Meget af tiden var det forskerne, der inspirerede mig,” siger hun. “Jeg kunne ikke engang forestille mig, at dette kunne være muligt, men de forstod min hensigt og byggede et system for at gøre det muligt. Nu kan jeg se, at denne type effekt er mulig, hvordan kan vi bruge det til at maksimere vores historiefortælling?”
Billede 1 af 5
Der er selvfølgelig en elefant i rummet. Connie er opmærksom på de etiske bekymringer omkring brugen af AI. Hun brugte modeller, der var trænet i hendes egen kunst, men anerkender de ophavsretlige bekymringer omkring de grundlæggende modeller, der ligger til grund for dem
“Jeg håber, at der kommer nogle lovbestemmelser, fordi det område er tomt lige nu,” siger hun. “Uden juridiske rammer vil det være svært at forfølge denne samtale på en betænksom og respektfuld måde.”
Med hensyn til om store studier som Pixar kunne omfavne AI-animation, er hun fortsat realistisk. “Det vil tage tid for både teknologiværktøjssiden og de folk, der driver studierne at finde ud af, hvad der kommer. Det vil være kaotisk et stykke tid, men til sidst vil der være gode folk, der arbejder for at gøre det mindre kaotisk.”
I sidste ende betragter hun AI ikke som en erstatning for kunstneren, men som et ufærdigt medie, der har brug for kunstnerisk vejledning, og som, hvis det bruges klogt, kan låse op for nye kreative muligheder for animatorer.
“For mig er det som en ny, frisk kasse med maling. Akvarel er et medie, oliemaleri er et medie, computergrafik er et medie. Lige nu har denne nye kasse med maling kun et par farver i sig, som kunstnere kan bruge. Der er mange tomme felter. Men når det udvider sig, håber jeg, at kunstnere kan bruge dem til at skabe ting, som før ikke var muligt.”