Uso de GGUF com LM Studio

LM Studio é um aplicativo de desktop para experimentar e desenvolver com modelos de IA locais diretamente no seu computador. O LM Studio é construído sobre o llama.cpp e funciona em Mac (Apple Silicon), Windows e Linux!

Obtendo modelos do Hugging Face no LM Studio

Primeiro, ative o LM Studio em Local Apps Settings no Hugging Face.

Opção 1: Use o botão ‘Use this model’ diretamente no Hugging Face

Para qualquer LLM GGUF ou MLX, clique no menu suspenso “Use this model” e selecione LM Studio. Isso executará o modelo diretamente no LM Studio, caso você já o tenha instalado, ou exibirá uma opção de download, caso contrário.

Para experimentar o LM Studio com um modelo em alta, encontre-os aqui: https://huggingface.co/models?library=gguf\&sort=trending

Opção 2: Use o In-App Downloader do LM Studio

Abra o aplicativo LM Studio e pesquise qualquer modelo pressionando ⌘ + Shift + M no Mac ou Ctrl + Shift + M no PC (M representa Models). Você pode até colar URLs inteiras do Hugging Face na barra de pesquisa!

Para cada modelo, você pode expandir o menu suspenso para visualizar várias opções de quantização. O LM Studio destaca a escolha recomendada para o seu hardware e indica quais opções são suportadas.

Opção 3: Use lms, a CLI do LM Studio:

Se você prefere um fluxo de trabalho baseado em terminal, use lms, a CLI do LM Studio.

Pesquise modelos pelo terminal:

Pesquisar com palavra-chave

lms get qwen

Filtrar a busca por resultados de MLX ou GGUF

lms get qwen \--mlx  # or \--gguf

Baixe qualquer modelo do Hugging Face:

Use uma URL completa do Hugging Face

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

Escolha uma quantização de modelo

Você pode escolher um nível de quantização do modelo que equilibre desempenho, uso de memória e precisão.

Isso é feito com o qualificador @, por exemplo:

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

Você baixou o modelo – E agora?

Você baixou um modelo seguindo uma das opções acima, agora vamos começar no LM Studio!

Começando a usar o aplicativo LM Studio

No aplicativo LM Studio, acesse o carregador de modelos para ver uma lista dos modelos baixados e selecione um para carregar. Você pode personalizar os parâmetros de carregamento do modelo, embora o LM Studio selecione por padrão os parâmetros de carregamento que otimizam o desempenho do modelo no seu hardware.

Depois que o modelo terminar de carregar (indicado pela barra de progresso), você já pode começar a conversar usando a interface de chat do nosso aplicativo!

Ou, use a CLI do LM Studio para interagir com seus modelos

Veja a lista de comandos aqui. Observe que você precisa executar o LM Studio pelo menos uma vez antes de poder usar o lms

Ficando por dentro dos modelos mais recentes

Siga a página da LM Studio Community no Hugging Face para se manter atualizado sobre os LLMs locais mais recentes e avançados assim que forem lançados.