Modelos Pequenos de Linguagem

Essa playlist nasce de um livro, não de aula ao vivo nem de notebook de curso: How to Build and Fine-Tune a Small Language Model, do J. Paul Liu. É um livro enxuto, mais um roteiro de projeto prático com código do que um tijolo teórico, e isso é elogio: cada capítulo já vem com estimativa de custo em dólar, tempo de treino, hardware mínimo. Ver um livro de ML te dizer "isso aqui custa 50 dólares e leva uma hora" antes de te jogar num mar de matemática é raro, e eu queria puxar esse fio com você.

O plano do livro inteiro é ambicioso, 12 capítulos que vão de "por que treinar seu próprio modelo" até deploy em produção com ética e tudo. Por enquanto eu tô cobrindo os dois primeiros: o Capítulo 1, que é a fundamentação de por que um modelo pequeno especializado ganha de um gigante generalista em boa parte dos casos reais, e o Capítulo 2, que constrói um GPT character-level do zero, o mesmo exercício clássico do vídeo "Let's Build GPT" do Andrej Karpathy (o próprio livro credita isso, sem rodeio). Se render post sobre os capítulos seguintes eu volto aqui, mas por ora é isso.

Um detalhe engraçado antes de começar: o sumário do livro abre com uma seção chamada "AI Use Disclaimer". Ou seja, o autor usou IA pra ajudar a escrever um livro ensinando você a construir IA, e eu uso o tio Claudinho pra escrever esse blog sobre o livro. É IA até debaixo d'água, mas pelo menos ninguém aqui tá fingindo o contrário.