A Nvidia, sempre interessada em incentivar a compra de suas GPUs mais recentes, está lançando uma ferramenta que permite aos proprietários de placas GeForce RTX Série 30 e Série 40 executar um chatbot com tecnologia de IA offline em um PC com Windows.
Chamada de Chat com RTX, a ferramenta permite que os usuários personalizem um modelo GenAI nos moldes do ChatGPT da OpenAI, conectando-o a documentos, arquivos e notas que podem ser consultados.
“Em vez de pesquisar notas ou conteúdo salvo, os usuários podem simplesmente digitar consultas”, escreve Nvidia em um blog. “Por exemplo, alguém poderia perguntar: ‘Qual foi o restaurante que meu parceiro recomendou enquanto estava em Las Vegas?’ e o Chat with RTX verificará os arquivos locais apontados pelo usuário e fornecerá a resposta com contexto.”
O Chat com RTX tem como padrão o modelo de código aberto da startup AI Mistral, mas oferece suporte a outros modelos baseados em texto, incluindo o Llama 2 da Meta. A Nvidia alerta que o download de todos os arquivos necessários consumirá uma boa quantidade de armazenamento – 50 GB a 100 GB, dependendo do modelo( e) selecionado.
Atualmente, o Chat with RTX funciona com os formatos texto, PDF, .doc, .docx e .xml. Apontar o aplicativo para uma pasta que contém todos os arquivos suportados carregará os arquivos no conjunto de dados de ajuste fino do modelo. Além disso, o Chat with RTX pode usar o URL de uma playlist do YouTube para carregar as transcrições dos vídeos da playlist, permitindo que qualquer modelo selecionado consulte seu conteúdo.
Agora, há certas limitações a serem lembradas, que a Nvidia, para seu crédito, descreve em um guia prático.
Créditos da imagem: Nvidia
O bate-papo com RTX não consegue lembrar o contexto, o que significa que o aplicativo não levará em consideração nenhuma pergunta anterior ao responder às perguntas de acompanhamento. Por exemplo, se você perguntar “Qual ave comum na América do Norte?” e continue com “Quais são as cores?”, o bate-papo com RTX não saberá que você está falando sobre pássaros.
A Nvidia também reconhece que a relevância das respostas do aplicativo pode ser afetada por uma série de fatores, alguns mais fáceis de controlar do que outros – incluindo a formulação da pergunta, o desempenho do modelo selecionado e o tamanho do conjunto de dados de ajuste fino. É provável que solicitar factos abrangidos por alguns documentos produza melhores resultados do que solicitar um resumo de um documento ou conjunto de documentos. E a qualidade da resposta geralmente melhorará com conjuntos de dados maiores – assim como apontar o Chat com RTX para mais conteúdo sobre um assunto específico, diz a Nvidia.
Portanto, o Chat with RTX é mais um brinquedo do que qualquer coisa para ser usado na produção. Ainda assim, há algo a ser dito sobre aplicativos que facilitam a execução local de modelos de IA – o que é uma tendência crescente.
Num relatório recente, o Fórum Económico Mundial previu um crescimento “dramático” de dispositivos acessíveis que podem executar modelos GenAI offline, incluindo PCs, smartphones, dispositivos de Internet das Coisas e equipamentos de rede. As razões, disse o WEF, são os benefícios claros: os modelos offline não são apenas inerentemente mais privados – os dados que processam nunca saem do dispositivo em que são executados – mas também têm menor latência e são mais econômicos do que os modelos hospedados na nuvem.
É claro que a democratização de ferramentas para executar e treinar modelos abre a porta para atores mal-intencionados – uma pesquisa superficial no Google produz muitas listagens de modelos ajustados com base em conteúdo tóxico de cantos inescrupulosos da web. Mas os defensores de aplicativos como o Chat with RTX argumentam que os benefícios superam os danos. Teremos que esperar para ver.
