Hollywood pode estar envolvida em disputas trabalhistas em andamento que envolvem IA, mas a tecnologia se infiltrou no cinema e na TV há muito, muito tempo. No SIGGRAFO em Los Angeles, ferramentas algorítmicas e generativas foram expostas em inúmeras palestras e anúncios. Talvez ainda não saibamos onde se encaixam empresas como GPT-4 e Stable Diffusion, mas o lado criativo da produção está pronto para adotá-los – se isso pode ser feito de uma forma que aumente, em vez de substituir, os artistas.
SIGGRAPH não é uma conferência de produção de cinema e TV, mas sim uma conferência sobre computação gráfica e efeitos visuais (há 50 anos!), e os tópicos naturalmente se sobrepõem cada vez mais nos últimos anos.
Este ano, o elefante na sala foi a greve, e poucas apresentações ou palestras envolveram o assunto; no entanto, em festas e eventos de networking, essa foi mais ou menos a primeira coisa que alguém mencionou. Mesmo assim, a SIGGRAPH é basicamente uma conferência sobre como reunir mentes técnicas e criativas, e a vibração que recebi foi “é uma droga, mas enquanto isso podemos continuar a melhorar nosso trabalho”.
Os receios em torno da IA na produção são, para não dizer ilusórios, mas certamente um pouco enganadores. A IA generativa, como modelos de imagem e texto, melhorou muito, gerando preocupações de que substituirão escritores e artistas. E certamente os executivos dos estúdios lançaram esperanças prejudiciais – e irrealistas – de substituir parcialmente escritores e atores usando ferramentas de IA. Mas a IA está presente no cinema e na TV há algum tempo, realizando tarefas importantes e orientadas para os artistas.
Vi isso em vários painéis, apresentações de artigos técnicos e entrevistas. É claro que uma história da IA em efeitos visuais seria interessante, mas por enquanto aqui estão algumas maneiras pelas quais a IA em suas diversas formas estava sendo mostrada na vanguarda dos efeitos e do trabalho de produção.
Os artistas da Pixar colocam ML e simulações para funcionar
Um dos primeiros exemplos veio em duas apresentações da Pixar sobre técnicas de animação usadas em seu filme mais recente, Elemental. Os personagens deste filme são mais abstratos do que outros, e a perspectiva de criar uma pessoa feita de fogo, água ou ar não é fácil. Imagine transformar a complexidade fractal dessas substâncias em um corpo que pode agir e se expressar claramente e ao mesmo tempo parecer “real”.
Como explicaram um após o outro animadores e coordenadores de efeitos, a geração processual foi fundamental para o processo, simulando e parametrizando as chamas, ondas ou vapores que compunham dezenas de personagens. Esculpir à mão e animar cada pequeno raio de chama ou nuvem que sai de um personagem nunca foi uma opção – isso seria extremamente tedioso, trabalhoso e técnico, em vez de um trabalho criativo.
Mas, como as apresentações deixaram claro, embora dependessem fortemente de simuladores e sombreadores de materiais sofisticados para criar os efeitos desejados, a equipe artística e o processo estavam profundamente interligados com o lado da engenharia. (Eles também colaboraram com pesquisadores da ETH Zurich para esse fim.)
Um exemplo foi a aparência geral de um dos personagens principais, Ember, que é feito de chamas. Não foi suficiente simular chamas ou ajustar as cores ou ajustar os vários mostradores para afetar o resultado. Em última análise, as chamas precisavam refletir a aparência que o artista desejava, e não apenas a forma como as chamas aparecem na vida real. Para esse fim, eles empregaram “transferência volumétrica de estilo neural” ou NST; a transferência de estilo é uma técnica de aprendizado de máquina que a maioria terá experimentado, por exemplo, alterando uma selfie para o estilo de Edvard Munch ou algo semelhante.
Neste caso, a equipe pegou os voxels brutos da “simulação pirotécnica”, ou chamas geradas, e os passou por uma rede de transferência de estilo treinada na expressão de um artista sobre como eles queriam que as chamas do personagem fossem: mais estilizadas, menos simuladas. Os voxels resultantes têm a aparência natural e imprevisível de uma simulação, mas também o elenco inconfundível da escolha do artista.
Exemplo simplificado de NST em ação adicionando estilo às chamas de Ember. Créditos da imagem: Pixar
É claro que os animadores são sensíveis à ideia de que acabaram de gerar o filme usando IA, o que não é o caso.
“Se alguém lhe disser que a Pixar usou IA para fazer Elemental, isso está errado”, disse Paul Kanyuk da Pixar durante a apresentação. “Usamos NST volumétrico para moldar as bordas de sua silhueta.”
(Para ser claro, NST é uma técnica de aprendizado de máquina que identificaríamos como pertencente à IA, mas o que Kanyuk queria dizer é que ela foi usada como uma ferramenta para alcançar um resultado artístico – nada foi simplesmente “feito com IA”. )
Mais tarde, outros membros das equipes de animação e design explicaram como usaram ferramentas procedurais, generativas ou de transferência de estilo para fazer coisas como recolorir uma paisagem para se adequar à paleta de um artista ou quadro de humor, ou preencher quarteirões da cidade com edifícios únicos que sofreram mutação de “herói”. ”desenhados à mão. O tema claro era que a IA e as ferramentas adjacentes à IA estavam lá para servir aos propósitos dos artistas, acelerando processos manuais tediosos e proporcionando uma melhor correspondência com a aparência desejada.
AI acelerando o diálogo
Imagens de Nimona, que a DNEG animou. Créditos da imagem: NEGRO
Ouvi uma nota semelhante de Martine Bertrand, pesquisadora sênior de IA da DNEG, a equipe de efeitos visuais e pós-produção que mais recentemente animou a excelente e visualmente deslumbrante Nimona. Ele explicou que muitos efeitos e pipelines de produção existentes exigem muita mão-de-obra, em particular o desenvolvimento visual e o design do ambiente. (A DNEG também fez uma apresentação, “Onde o processualismo encontra o desempenho” que aborda esses tópicos.)
“As pessoas não percebem que há uma enorme quantidade de tempo desperdiçado no processo de criação”, disse-me Bertrand. Trabalhar com um diretor para encontrar o visual certo para uma cena pode levar semanas por tentativa, durante as quais a comunicação pouco frequente ou ruim muitas vezes leva ao cancelamento dessas semanas de trabalho. É incrivelmente frustrante, continuou ele, e a IA é uma ótima maneira de acelerar este e outros processos que estão longe de ser produtos finais, mas simplesmente exploratórios e gerais.
Artistas que usam IA para multiplicar seus esforços “permitem o diálogo entre criadores e diretores”, disse ele. Selva alienígena, claro – mas assim? Ou como esse? Uma caverna misteriosa, como esta? Ou como esse? Para uma história visualmente complexa e liderada pelo criador como Nimona, obter feedback rápido é especialmente importante. Desperdiçar uma semana reproduzindo um visual que o diretor rejeita uma semana depois é um sério atraso na produção.
Na verdade, novos níveis de colaboração e interatividade estão sendo alcançados nos primeiros trabalhos criativos, como a pré-visualização, assim como uma palestra do CEO da Sokrispy, Sam Wickert, explicada. Sua empresa foi encarregada de fazer previsões para a cena do surto logo no início de The Last of Us, da HBO – um complexo “oner” em um carro com inúmeros extras, movimentos de câmera e efeitos.
Embora o uso da IA tenha sido limitado nesse cenário mais fundamentado, é fácil ver como a síntese de voz aprimorada, a geração de ambiente processual e outras ferramentas poderiam e contribuíram para esse processo cada vez mais avançado em tecnologia.
Foto final, dados mocap, máscara e ambiente 3D gerados pelo Wonder Studio. Créditos da imagem: Estúdio Maravilha
Wonder Dynamics, que foi citado em diversas palestras e apresentações, oferece outro exemplo de uso de processos de aprendizado de máquina na produção – inteiramente sob o controle dos artistas. Modelos avançados de reconhecimento de cenas e objetos analisam imagens normais e substituem instantaneamente atores humanos por modelos 3D, um processo que antes levava semanas ou meses.
Mas, como me disseram há alguns meses, as tarefas que automatizam não são as criativas – é um trabalho mecânico (às vezes roto) cansativo que quase não envolve decisões criativas. “Isso não atrapalha o que eles estão fazendo; ele automatiza 80-90% do trabalho objetivo de efeitos visuais e deixa-os com o trabalho subjetivo”, disse então o cofundador Nikola Todorovic. Conversei com ele e seu cofundador, o ator Tye Sheridan, da SIGGRAPH, e eles estavam gostando de ser o brinde da cidade: estava claro que a indústria estava se movendo na direção em que haviam começado anos atrás. (Aliás, venha ver Sheridan no palco de IA no TechCrunch Disrupt em setembro.)
Dito isto, as advertências dos escritores e atores em greve não estão de forma alguma sendo rejeitadas pela comunidade VFX. Na verdade, eles ecoam-nos e as suas preocupações são semelhantes – se não tão existenciais. Para um ator, a imagem ou o desempenho de alguém (ou para um escritor, a imaginação e a voz) é o seu sustento, e a ameaça de que isso seja apropriado e totalmente automatizado é aterrorizante.
Para os artistas em outras partes do processo de produção, a ameaça da automação também é real, e também é mais um problema de pessoas do que de tecnologia. Muitas pessoas com quem conversei concordaram que as más decisões tomadas por líderes desinformados são o verdadeiro problema.
“A IA parece tão inteligente que você pode delegar o seu processo de tomada de decisão para a máquina”, disse Bertrand. “E quando os humanos transferem suas responsabilidades para as máquinas, isso é onde fica assustador.
Se a IA puder ser aproveitada para melhorar ou agilizar o processo criativo, reduzindo, por exemplo, o tempo gasto em tarefas repetitivas ou permitindo que criadores com equipas ou orçamentos mais pequenos correspondam aos seus pares com melhores recursos, isso poderá ser transformador. Mas se o processo criativo for apoiado pela IA, um caminho que alguns executivos parecem interessados em explorar, então, apesar da tecnologia já permear Hollywood, os ataques estarão apenas a começar.
