Nvidia lança forma de correr modelos LLM de forma local

A NVIDIA encontra-se a realizar uma grande aposta em IA nos últimos meses, e se isso aplica-se a nível do hardware que a empresa tem vindo a desenvolver para centros de dados e de processamento de IA, agora a mesma tecnologia pode vir a chegar também aos consumidores em geral.

A empresa revelou hoje o seu novo Chat with RTX, uma aplicação que permite correr modelos de LLM de forma local, usando a capacidade de processamento das placas gráficas RTX mais recentes.

Esta aplicação permite que os utilizadores tenham o seu próprio chatbot diretamente nos seus PCs, a funcionar de forma local. A base de dados é criada pelos próprios utilizadores, que podem fornecer documentos ou até vídeos do YouTube, e a IA pode responder a conteúdos do mesmo.

Para correr esta aplicação os utilizadores necessitam de possuir pelo menos uma placa gráfica RTX 30 ou 40, com 8GB de VRAM. É ainda necessário 16 GB de RAM no sistema em geral para poder correr os modelos de forma eficaz.

A aplicação permite realizar várias tarefas usando fontes que o utilizador forneça. Por exemplo, usando vídeos do YouTube, a IA pode analisar a transcrição dos mesmos para criar um resumo dos conteúdos ou apresentar informação importante relativa a estes.

O sistema pode ainda ser usado no mesmo formato para vários tipos de documentos e ficheiros.

O sistema ainda se encontra em desenvolvimento, portanto os utilizadores podem esperar alguns erros e falhas, e as respostas fornecidas de longe não equivalem a ferramentas mais avançadas, como ChatGPT ou Gemini. No entanto é o primeiro passo da NVIDIA para criar um ambiente de IA local, onde os utilizadores podem ter os seus próprios modelos LLM a correr de forma simples e rápida, e com maior privacidade.

No entanto, para já ainda se encontra numa fase bastante inicial de desenvolvimento, e isso verifica-se nas respostas que são fornecidas, que claramente ainda necessitam de melhorias. Certamente será algo que a NVIDIA irá focar-se para futuras versões.

Ao mesmo tempo, a ter em conta que esta aplicação requer um vasto conjunto de requisitos que vão além de apenas a placa gráfica. A aplicação demora vários minutos a instalar todos os modelos de LLM, além de que, em funcionamento, consome valores elevados de RAM e processamento. As respostas também podem demorar algum tempo a ser fornecidas, dependendo dos recursos e do hardware utilizado.