Menos bits, mesma inteligência

A quantização pode permitir que um modelo mantenha desempenho semelhante após a conversão de parte de seus valores para uma representação de menor precisão, mas isso precisa ser validado por tarefa. Se a mudança funciona, ela altera uma decisão prática importante: um modelo quantizado pode caber em uma máquina local e, em alguns cenários, reduzir consumo e custo por execução.

Mas de onde vem essa economia? E o que exatamente se perde quando números de ponto flutuante viram inteiros de poucos bits?

A resposta está em separar duas coisas que costumam ser confundidas: o valor exato de cada número e o padrão coletivo formado por bilhões deles. A quantização reduz a precisão individual dos pesos e das ativações, mas tenta preservar as relações que fazem o modelo reconhecer padrões, prever palavras e seguir instruções.

O modelo não precisa lembrar cada decimal

Imagine uma receita em que cada ingrediente aparece com uma medida extremamente precisa. Trocar 1,037 grama por 1,04 grama não altera o prato. A analogia falha em um ponto: uma rede neural não tem poucos ingredientes, mas muitos pesos conectados em operações sucessivas. Ainda assim, a ideia central permanece. Vários decimais carregam mais precisão do que a decisão final precisa.

Em uma representação float32, cada valor ocupa 32 bits. Em float16, ocupa 16. Em int8, ocupa 8. O int8 representa apenas 256 valores possíveis, enquanto o float32 cobre uma faixa numérica muito mais ampla. A quantização escolhe uma escala para mapear os valores originais nesse espaço menor, arredonda o resultado e guarda também os parâmetros necessários para interpretar o número depois.

Na quantização simétrica, por exemplo, os valores são organizados em torno de zero. Se o maior valor absoluto for 6,2 e a escala for calculada com 127/6,2, o valor 1,6 será mapeado para aproximadamente 33. Ao reconstruir o número, ele não volta exatamente a 1,6. Volta a uma aproximação.

Essa aproximação é o erro de quantização. Ele não é um defeito acidental do processo. É o preço explícito de usar menos bits.

A conta de memória é simples, mas não conta tudo

Considere, como exemplo hipotético, um modelo com alguns bilhões de pesos. Reduzir a largura de representação de 32 para 16, 8 ou 4 bits diminui proporcionalmente o espaço bruto dos pesos, sem contar metadados e memória de execução.

Esses valores são uma conta ilustrativa baseada nas premissas declaradas, não o tamanho final de um arquivo pronto para execução. O sistema também precisa de memória para o contexto, as ativações, o cache das chaves e valores da atenção e as estruturas usadas pelo mecanismo de inferência.

Mesmo assim, a relação explica por que a quantização pode permitir executar modelos em máquinas que ficariam sem memória usando a representação original. Cortar de 16 para 4 bits reduz substancialmente o espaço ocupado pelos pesos. Não torna o modelo mais inteligente nem garante mais velocidade. Apenas remove uma barreira física importante.

O truque está na escala, não só no arredondamento

O mapeamento mais simples usa uma única escala para todo o tensor. Isso funciona quando os valores têm uma distribuição relativamente uniforme. Mas redes neurais raramente são tão organizadas. Um canal pode conter valores pequenos e outro pode concentrar valores muito maiores.

Se uma única escala precisar acomodar um valor extremo, os valores pequenos perderão resolução. É como desenhar uma formiga e uma montanha na mesma régua: a montanha cabe, mas os detalhes da formiga desaparecem.

Por isso, a quantização pode usar uma escala por canal, em vez de uma escala por tensor inteiro. Cada parte recebe uma régua mais adequada. A memória adicional dos parâmetros de escala continua existindo, mas o erro costuma ser melhor controlado. A escolha entre quantização por tensor e por canal é uma negociação entre simplicidade, velocidade, memória e qualidade.

Também existe uma diferença entre quantizar apenas os pesos e quantizar pesos e ativações. Os pesos ficam armazenados em baixa precisão. As ativações aparecem durante a execução e podem assumir distribuições diferentes conforme a entrada. Quantizá-las exige calibrar melhor os intervalos e lidar com valores extremos.

Esse detalhe derruba uma promessa comum: dizer que um modelo de 4 bits é simplesmente um modelo completo menor. Ele é uma nova representação operacional do mesmo conjunto de parâmetros, com regras específicas para multiplicar, acumular e reconstruir valores aproximados.

Onde a qualidade cai primeiro

A perda não aparece como uma queda uniforme em todas as respostas. O modelo pode continuar escrevendo textos plausíveis e, ao mesmo tempo, errar mais em tarefas que dependem de precisão numérica, sintaxe rígida, recuperação de detalhes raros ou longas cadeias de raciocínio.

Uma interpretação é que padrões robustos tendem a tolerar melhor a aproximação, enquanto decisões baseadas em diferenças pequenas podem ser mais sensíveis; essa hipótese deve ser verificada por avaliação. O impacto precisa ser medido em cada modelo.

O ponto que exige medição é o tamanho da perda em cada modelo e tarefa. Não existe um nível de bits universalmente seguro. A qualidade depende da arquitetura, da distribuição dos pesos, do método de calibração e do que será medido.

É por isso que avaliar apenas uma conversa curta engana. O teste correto inclui as entradas reais do produto: código, documentos longos, números, idiomas, formatação e instruções difíceis. Se o sistema precisa gerar JSON válido, a taxa de erro nesse formato importa mais que a impressão geral de que o texto parece bom.

Modelo local ou modelo completo na nuvem?

A escolha não começa pelo número de bits. Começa pelo tipo de problema.

Um modelo quantizado local pode ser adequado quando privacidade, disponibilidade offline, latência previsível ou custo fixo forem prioridades e a qualidade medida for suficiente. A desvantagem é assumir a operação do hardware, da memória, das atualizações e da avaliação de qualidade.

Um modelo completo na nuvem faz sentido quando a tarefa é sensível a precisão, quando a demanda varia muito ou quando manter equipamento próprio custa mais do que pagar por uso. A nuvem não elimina latência nem custo. Ela apenas desloca a infraestrutura para outro lugar e acrescenta comunicação pela rede.

O tempo total será a soma dos tempos de inferência e comunicação de todas as rodadas. Reduzir o tempo de cada inferência ajuda, mas não corrige um fluxo mal dividido. Às vezes, juntar etapas ou retirar uma chamada desnecessária produz mais efeito que trocar float16 por 4 bits.

O critério que vale copiar

Quantização não preserva necessariamente o desempenho em todas as tarefas. Ela é uma troca controlada: menos memória e, em alguns cenários, menos custo computacional, em troca de uma representação numérica menos precisa. O resultado pode ser excelente quando a tarefa tolera aproximações e quando a quantização foi validada com dados reais.

Comece medindo três coisas: memória disponível, tempo por resposta e qualidade na tarefa que realmente importa. Depois compare representações diferentes com o mesmo conjunto de testes. Se uma versão de 4 bits mantém o desempenho necessário, ela compra simplicidade e autonomia. Se não mantém, suba a precisão ou mova a parte crítica para um modelo completo.

A pergunta certa não é se menos bits preservam a inteligência inteira. É quais bits podem ser descartados sem alterar a decisão que o seu sistema precisa tomar.