Nvidia Audio2Face agora é open source e promete revolucionar animações faciais em jogos

A Nvidia anunciou que sua tecnologia Nvidia Audio2Face agora está disponível como código aberto. Esta decisão promete facilitar significativamente o trabalho de desenvolvedores de jogos que desejam criar personagens com IA e expressões faciais convincentes, incluindo durante conversas em tempo real com os jogadores.

O Nvidia Audio2Face utiliza inteligência artificial para gerar animações faciais realistas a partir de entrada de áudio. A tecnologia funciona analisando características acústicas como fonemas e entonação para criar um fluxo de dados de animação, que é então mapeado para as expressões faciais de um personagem.

Esses dados podem ser renderizados offline para conteúdo pré-programado ou transmitidos em tempo real para personagens dinâmicos controlados por IA, proporcionando sincronização labial precisa e expressões emocionais autênticas.

Ao tornar o Audio2Face de código aberto, a Nvidia espera “acelerar a adoção de avatares com IA em jogos e aplicações 3D”, expandindo o acesso a ferramentas que antes eram mais restritas ou complexas de implementar. A tecnologia faz parte da plataforma ACE da Nvidia, focada na criação de avatares humanos digitais mais convincentes. Em testes anteriores, a tecnologia foi descrita como “assustadoramente boa”, com o único problema aparente sendo pequenos atrasos nas respostas que causavam pausas desconfortáveis na conversa.

O pacote de código aberto inclui o SDK do Audio2Face, plugins de áudio para entrada de streams de voz, estruturas de treinamento, dados de amostra para treinamento, uma biblioteca de modelos faciais e um plugin específico para Unreal Engine 5. O lançamento também conta com Modelos Audio2Emotion, capazes de “inferir” estados emocionais a partir do áudio em tempo real.

Entre os desenvolvedores de jogos que já utilizam o Nvidia Audio2Face estão Codemasters, GSC Games World, NetEase e Perfect World Games, enquanto empresas de tecnologia incluem Convai, Inworld AI, Reallusion, Streamlabs e UneeQ.

Um ponto importante a considerar é que, embora agora seja open source, a plataforma ACE da Nvidia está de alguma forma vinculada às GPUs da empresa. Embora não existam razões técnicas óbvias para que os recursos do ACE não funcionem em GPUs de outros fabricantes, a estratégia da Nvidia frequentemente visa manter os jogadores no seu ecossistema ou atrair novos usuários para suas placas gráficas.

Fonte: PC Gamer

Console retrô: 5 modelos em oferta na Amazon e 5 volantes com pedais para aproveitar jogos de corrida ao máximo