Tecnologia e IA
A janela de contexto também fica cheia
Janelas enormes de contexto parecem memória infinita, mas a atenção do modelo se dilui. O problema está menos no tamanho e mais na arquitetura da informação.
atenção
2 matérias sobre este assunto.
Tecnologia e IA
Por que a memória externa ainda não substitui a janela nativa
Bases vetoriais dão ao modelo uma memória consultável, mas não recriam a precisão de uma janela nativa. O limite está em como informação distante é recuperada, combinada e usada.