Tamanho de contexto e VRAM
Os pesos são só metade: o cache KV cresce com o contexto e a 128k pode igualar o modelo. Se der OOM após colar muito texto, reduza o contexto antes da quantização.
Os pesos são só metade: o cache KV cresce com o contexto e a 128k pode igualar o modelo. Se der OOM após colar muito texto, reduza o contexto antes da quantização.