Tecnologia e IA
A resposta pode chegar antes do cálculo terminar
A decodificação especulativa faz um modelo pequeno rascunhar vários tokens e deixa o modelo maior verificar o pacote em paralelo. O resultado é menos tempo de geração sem trocar a resposta final.