Nvidia pretende trazer modelos LLM para o Windows

A NVIDIA certamente que possui conhecimentos na área da IA, sendo uma das maiores fabricantes de chips focados em processamento de modelos LLM e deste género de tecnologias. Nomes como a OpenAI e Microsoft usam os chips da empresa para os seus serviços de IA.

Mas agora, a empresa pretende trazer um pouco dessa capacidade de processamento também para os utilizadores em geral. Recentemente a empresa revelou o TensorRT-LLM, uma nova tecnologia que vai ficar disponível para utilizadores em sistemas Windows, e que permite aproveitar um pouco das capacidades de processamento das placas RTX para modelos LLM.

O TensorRT-LLM permite que modelos LLM sejam processados até quatro vezes mais rapidamente em placas gráficas da linha RTX, o que permite aos utilizadores executarem este género de funcionalidades de IA nos seus próprios sistemas.

A NVIDIA classifica o TensorRT-LLM como uma aposta para o futuro, aumentando a possibilidade tanto de consumidores em geral como de programadores usarem tecnologias de LLM nos seus próprios computadores.

Por exemplo, os utilizadores podem conjugar esta capacidade com o LLaMa 2, de forma a usarem o LLM localmente, e sem necessitarem de plataformas externas para tal.

A ferramenta deve ficar disponível brevemente no site da NVIDIA.