SLM contra LLM: o Motoboy e o Caminhão de Mudança
Pensa assim: você precisa entregar uma pizza no bairro vizinho. Você chama um caminhão de mudança pra isso? Óbvio que não, você chama um motoboy. O caminhão consegue carregar geladeira, sofá, guarda-roupa, uma mudança inteira, só que ele é caro, lento pra virar esquina, e você paga o frete completo mesmo que sua "mudança" seja uma caixa de pizza. É basicamente esse o argumento do Capítulo 1 do livro How to Build and Fine-Tune a Small Language Model, só que trocando "mudança" por "modelo de linguagem".
Um é o caminhão de mudança. Ele escreve poesia, resolve matemática avançada, explica física quântica, sabe de quase tudo. Mas ele também custa caro pra rodar em volume, manda seus dados pros servidores de outra empresa, e você não consegue abrir o capô e trocar uma peça se ele erra sempre o mesmo tipo de pergunta. Um é o motoboy. Ele não sabe fazer de tudo, mas pra entrega rápida, especializada, e barata, ele ganha do caminhão sempre.
Por que "pequeno" ganha do "gigante" às vezes
O livro lista cinco motivos práticos, e eu prefiro recontar cada um com um exemplo de verdade em vez de ficar na teoria:
Custo. Rodar consulta via API de LLM gigante em volume alto custa de centenas a milhares de dólares por mês. Treinar ou ajustar o modelo gigante do zero? Milhões. O livro dá um exemplo concreto que eu achei ótimo: uma central de atendimento processando 10 mil tickets de suporte por dia gastaria de 500 a 1.000 dólares por mês numa API. Um modelo local rodando na sua própria máquina custa uns 50 dólares por mês, e olha que isso é só a conta de luz.
Privacidade. Prontuário médico, processo jurídico, dado de pesquisa não publicada, tudo isso não pode simplesmente viajar pro servidor de terceiro. Se um hospital manda nota de paciente pra API de fora, já era a HIPAA (a lei americana de privacidade em saúde). Modelo rodando local resolve isso na hora: o dado nunca sai de casa.
Controle. Se o LLM gigante erra sempre a mesma terminologia técnica do seu campo, você não tem como consertar isso, você só reclama e espera a próxima versão. Modelo seu, você ajusta.
Disponibilidade e velocidade. API cai, muda de preço, ou fica lenta na fila em horário de pico. Modelo local não depende da internet nem da decisão de negócio de ninguém além de você.
O livro dá dois exemplos de "quando compensa" que eu curti bastante: um geólogo que precisa extrair dado mineral de milhares de artigo científico vai se dar melhor com um modelo treinado no vocabulário de geologia ("plagioclase feldspar", "phenocryst") do que com um generalista. E uma fazenda usando um modelo de visão pequeno pra detectar doença de planta direto no local, sem depender de internet, ganha em velocidade e em não pagar API pra cada foto tirada.
Só que a régua não é "SLM sempre vence". Se você precisa de conhecimento geral amplo, raciocínio complexo em múltiplas etapas, ou informação atualizada em tempo real, o caminhão de mudança ainda ganha. O livro resume isso numa frase que eu concordo cem por cento: LLM gigante é generalista, SLM é especialista. Se você consegue definir bem sua tarefa e tem dado relevante pra treinar, o modelo pequeno tende a te servir melhor. Se não consegue, o gigante generalista cobre a lacuna.
O que o livro vai te fazer construir
Boa parte do Capítulo 1 é roteiro do livro inteiro, e eu vou resumir rápido porque isso ajuda a entender onde os dois posts que eu vou escrever se encaixam. O livro usa duas arquiteturas de referência: GPT-2 (2019, da OpenAI, de 125 milhões a 1,5 bilhão de parâmetros, ponto de partida clássico) e MiniMind (mais recente, de 26 a 218 milhões de parâmetros, otimizado pra rodar em hardware menor com um pipeline de treino em três estágios: pré-treino, ajuste fino supervisionado, e otimização de preferência direta). São 12 capítulos ao todo, organizados em quatro fases: fundamentos (capítulos 1 a 3, onde você entende a arquitetura e faz seu primeiro ajuste fino em meia hora), treino do zero em profundidade (capítulos 4 a 7), o estudo de caso completo com o MiniMind (capítulos 8 a 10), e produção (capítulos 11 e 12, deploy de verdade).
Eu tô cobrindo só o Capítulo 2 por enquanto, que é a "Fase 1" do próprio livro: construir um GPT pequeno do zero pra entender o motor por dentro antes de ajustar fino qualquer coisa pronta.
Fechando
| O que eu já sabia | O que esse capítulo assentou |
|---|---|
| Modelo grande é mais poderoso | Mais poderoso não é sinônimo de "melhor pra sua tarefa específica" |
| Treinar modelo custa caro | Só se for o modelo errado pro tamanho do problema: 50 dólares por mês local contra 500 a 1.000 dólares por mês de API é uma conta que qualquer um faz |
| "Fine-tuning" é jargão vago | É literalmente pegar um modelo que já sabe "linguagem em geral" e ajustar só o suficiente pra ele saber sua tarefa específica |
Aplicação Prática
O número mais concreto do capítulo é esse exemplo de central de atendimento, 10 mil tickets de suporte por dia. Não inventei nada aqui, são os dois valores que o próprio livro cita: API de LLM gigante fica entre 500 e 1.000 dólares por mês, modelo local fica em 50 dólares por mês (a conta de luz, já que o hardware você já tem ou aluga uma vez só). Botei os dois lado a lado pra você ver a escala da diferença de cara, usando o piso da faixa da API pra ser justo com o número menor.
Dez vezes mais barato, todo mês, pro mesmo volume de tickets. É esse tipo de conta que separa "seria legal ter meu próprio modelo" de "faz sentido financeiro ter meu próprio modelo". No próximo post a gente constrói o motor por dentro.