Legendasuma startup de edição de vídeo com tecnologia de IA, lançou um novo aplicativo chamado Lipdub para traduzir clipes em 28 idiomas.
Lipdub está disponível gratuitamente na App Store e oferece suporte a vários idiomas, incluindo francês, hindi, espanhol, italiano, português, japonês e muito mais. O aplicativo ainda permite que os usuários traduzam vídeos para gírias do Texas, Geração Z, piratas e conversas de bebês. O vídeo de demonstração mostra que o aplicativo também pode alterar o movimento dos lábios de acordo com o idioma alvo selecionado. Porém, às vezes há um certo atraso entre o áudio e o movimento dos lábios.
Os usuários podem traduzir um vídeo de uma única pessoa falando durante até um minuto e depois compartilhá-lo em outras plataformas de mídia social.
Em seu site, a Captions afirma que mais de 3 milhões de criadores usaram seu aplicativo de edição de vídeo de mesmo nome. A startup afirma ter mais de 100.000 usuários diários. O aplicativo Legendas oferece vários recursos alimentados por IA para edição de vídeo, como remoção de “ums” e “ahs”, reduzindo o ruído de fundo e melhorando a fala. O aplicativo também possui um recurso “AI Lipdub” que pode alterar o movimento dos lábios na edição de pós-produção se você alterar a transcrição.
A Captions foi fundada em 2021 por Gaurav Misra, chefe de engenharia de design da Snap. Em junho, a empresa garantiu US$ 25 milhões em uma rodada da Série B liderado por Kleiner Perkins com participação de Sequoia Capital, Andreessen Horowitz (a16z) e SV Angel. Até o momento, a Captions arrecadou US$ 40 milhões em financiamento.
Usar tradução e dublagem de IA para atingir um público mais amplo é uma tendência crescente. Em junho, o YouTube anunciou que estava testando uma ferramenta com tecnologia de IA para permitir que os usuários dublassem automaticamente seus vídeos em outros idiomas. A empresa disse que está até trabalhando para melhorar a sincronização labial. No mês passado, a empresa disse que está integrando dublagem com tecnologia de IA diretamente no YouTube Studio para facilitar o acesso para pessoas que desejam converter vídeos para outros idiomas.
No início deste mês, plataforma de geração de voz alimentada por IA ElevenLabs lançou sua ferramenta de dublagem com suporte para 29 idiomas. Resto do mundo relatou anteriormente que empresas provedoras de serviços de dublagem estão gerando milhões de dólares traduzindo conteúdo para YouTubers populares como MrBeast.
As startups de dublagem baseadas em IA geraram muito interesse dos investidores, com startups como a Papercup, com sede no Reino Unido, e a Deepdub, com sede em Israel, arrecadando milhões de dólares.
