Ollama

por Ollama

Roda modelos de linguagem no próprio computador com poucos comandos, usando a GPU quando ela está disponível.

O Ollama baixa e executa modelos de IA localmente, sem mandar seus textos para servidor nenhum. O uso é por linha de comando — um comando baixa o modelo e outro abre o chat — e ele expõe uma API local compatível com o padrão da OpenAI, o que permite ligar em outros apps e scripts. Aproveita GPU NVIDIA ou AMD quando existe e cai para CPU se não houver. É o caminho mais curto para testar LLMs offline.