
Treinei adicionalmente um LLM de 0,8B para RAG em 20 idiomas: precisão de 74% → 94%, 7 segundos por pergunta na CPU
Queria um modelo multilíngue para RAG que rodasse na CPU. Você fornece um texto e faz uma pergunta; ele responde com base no texto. Se a resposta não estiver no texto, em vez de inventar algo, ele recusa e diz que “não há resposta”. Tentei criar esse modelo treinando adicionalmente o Qwen3.5 de 0,8B (800 milhões de parâmetros). O alvo são 20 idiomas.
Primeiro, as conclusões.
- A precisão passou de 73,8% para 93,8%. Chegou a apenas 1 ponto do Qwen3-4B sem treinamento adicional (94,7%), tendo um quinto do tamanho
- O maior ganho foi corrigir as “invenções”. O 0,8B original respondia alguma coisa em quase 40% dos casos quando recebia textos longos sem resposta
- 7 segundos por pergunta na CPU. Tempo para ler um texto de cerca de 2.500 tokens e responder. Com 4B, leva 60 segundos
- Não consegui passar de 95%. Mesmo alterando taxa de aprendizado, número de épocas e volume de dados, parou na faixa dos 94%. Parece ser o limite do tamanho de 0,8B
Como medi
Criei perguntas a partir da Wikipedia em 20 idiomas (japonês, inglês, chinês, croata, hindi e outros). Para cada pergunta, forneci quatro tipos de texto.
- Parágrafo: um parágrafo curto que contém a resposta
- Contexto longo: texto de milhares de tokens que mistura o parágrafo com a resposta em artigos irrelevantes
- Sem resposta (curto/longo): textos que não contêm a resposta. Acertava se recusasse dizendo “não há resposta”
Chamo a média desses quatro itens de “precisão”. As perguntas e a avaliação foram feitas pelo Qwen3-32B. Para verificar se a avaliação não estava favorecendo o Qwen, também reavaliei com o gpt-oss-120b, de outra família; a diferença ficou dentro de 0,5 ponto.
Também confirmei o resultado com perguntas de formatos diferentes.
- XQuAD: versões em 8 idiomas de perguntas escritas por pessoas
- hr0: teste em croata que criei anteriormente com outro modelo
Afinal, usando apenas perguntas criadas da mesma forma que os dados de treino, não dá para distinguir se o modelo apenas se acostumou àquele formato.
O 0,8B original inventa respostas quando não há resposta
A medição com o Qwen3.5-0.8B antes do treinamento adicional ficou assim (média dos 20 idiomas).
| Parágrafo | Contexto longo | Sem resposta curta | Sem resposta longa |
|---|---|---|---|
| 68,9 | 71,0 | 87,9 | 63,2 |
Ao receber textos longos sem resposta, ele respondia alguma coisa em quase 40% dos casos. Em hindi, marcou apenas 15 pontos. Isso é um problema para RAG.
O que testei
O treinamento foi feito em uma RTX PRO 6000 (96GB) alugada na vast.ai.
1. LoRA com dados de RAG em 20 idiomas
Os dados de treino tinham 20 idiomas × 500 perguntas. Criei exemplos com os quatro tipos de texto para cada uma, chegando a 18.025 exemplos no total. A resposta correta era uma frase; quando não havia resposta, usava a frase-padrão de “não há resposta” naquele idioma.
Uma época com LoRA (rank 64), em 1,7 hora.
| Parágrafo | Contexto longo | Sem resposta curta | Sem resposta longa | |
|---|---|---|---|---|
| 0,8B original | 68,9 | 71,0 | 87,9 | 63,2 |
| Após LoRA | 91,7 | 89,0 | 98,4 | 93,4 |
Só isso já elevou bastante os resultados. Em sem resposta longa, foi de 63 para 93; as invenções praticamente foram corrigidas.
Aliás, quando testei primeiro com 2B, mesmo treinando apenas com 3 idiomas (croata, alemão e turco), todos os 20 idiomas melhoraram. Parece que a fraqueza do modelo original não era conhecimento nem compreensão de leitura, mas o hábito de responder ou recusar conforme a instrução.
2. Com perguntas escritas por pessoas, ele recusa rápido demais
Ao testar no XQuAD, com perguntas escritas por pessoas, houve muitos casos em que ele dizia “não há resposta” apesar de ela existir.
Por exemplo, ao perguntar “Qual é outro nome para rotor?”, o parágrafo dizia apenas “um disco giratório”. Ele acabava recusando em perguntas assim, nas quais a formulação da pergunta difere da do parágrafo.
A causa estava nos dados de treino. O Qwen3-32B, que criou as perguntas, tendia a usar na pergunta a mesma formulação do parágrafo. Por isso, ele aparentemente aprendeu a recusar quando não encontrava as mesmas palavras.
Então pedi ao gpt-oss-120b para criar e acrescentar 400 perguntas por idioma de dados com características diferentes.
- Perguntas formuladas de modo diferente do parágrafo
- Fragmentos soltos, como resultados de busca
- Artigos enganosos, relacionados ao tema mas sem conter a resposta
- Contextos longos de 1K a 8K tokens
Com isso, o resultado de parágrafos no XQuAD subiu de 79,6 para 83,6, e o de contexto longo, de 75,5 para 79,2. Foi praticamente só isso que funcionou desta vez.
A partir daqui, o treinamento foi feito em todos os parâmetros, e não com LoRA. Com os mesmos dados, os resultados foram praticamente iguais nos dois métodos.
3. O que não funcionou
| O que testei | Resultado |
|---|---|
| Triplicar a taxa de aprendizado (1e-5 → 3e-5) | A loss de validação piorou claramente e o treinamento foi interrompido |
| Treinar por 2 épocas | A loss de validação caiu, mas a precisão ficou igual. O XQuAD caiu um pouco |
| Dobrar os dados de características diferentes | +0,1 nas minhas próprias perguntas. XQuAD e hr0 caíram |
| Adicionar perguntas escritas por pessoas (SQuAD e TyDi QA) | Efeito contrário. Sem resposta longa no XQuAD caiu de 99,8 para 91,2 |
Eu esperava que perguntas escritas por pessoas ajudassem, mas aconteceu o contrário. O XQuAD é criado a partir de parágrafos do SQuAD. Portanto, ao treinar com SQuAD, o modelo parece ter aprendido que “se o parágrafo parece SQuAD, há uma resposta”. Dados muito próximos da avaliação são perigosos.
4. A quantização em Q4 perde 1 ponto
Como o modelo roda na CPU, converti-o para GGUF do llama.cpp e o quantizei.
No 2B, quase não houve perda mesmo com Q4_K_M. Mas o 0,8B caiu cerca de 1 ponto. Quanto menor o modelo, mais sensível ele é à quantização. Com Q6_K ou Q8_0, o resultado voltou a subir e chegou a 95,4 em perguntas em croata.
Resultados
Comparei a versão final de 0,8B com o modelo original e modelos maiores. Todos os valores são a média dos quatro tipos; 0,8B e 2B estão na forma usada na CPU (Q4_K_M).
| Modelo | Tamanho | Perguntas em 20 idiomas | XQuAD (perguntas escritas por pessoas) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B (original) | — | 73,8 | 74,8 | 72,7 |
| 0,8B (treinamento adicional) | 0,67GB | 93,8 | 89,9 | 90,0 |
| 2B (treinamento adicional com o mesmo método) | 1,56GB | 96,4 | 92,4 | 93,5 |
| Qwen3-4B-Instruct-2507 (sem treinamento adicional) | 2,3GB | 94,7 | 94,0 | 91,2 |
- O 0,8B ganhou 20 pontos e ficou a 1 ponto do 4B. O 2B supera o 4B
- Em perguntas escritas por pessoas (XQuAD), ele ainda perde por 4 pontos para o 4B. A fraqueza diante de perguntas formuladas de modo diferente ainda não foi totalmente corrigida
- Dos erros do 0,8B, 64% seriam acertados pelo 2B. O restante parece ser limite do tamanho do modelo. Se a prioridade for precisão, escolha o 2B
Velocidade (CPU de notebook)
Medi com 8 threads de um i7-11800H. Como é um notebook cujo clock cai para cerca de metade após uso prolongado, os números são mais lentos.
| Leitura do texto (4K tokens) | Geração | 1 pergunta com contexto longo | |
|---|---|---|---|
| 0,8B | 314 tok/s | 53 tok/s | cerca de 7 segundos |
| 2B | 97 tok/s | 21 tok/s | cerca de 25 segundos |
| 4B | 42 tok/s | 11 tok/s | cerca de 60 segundos |
Apenas com parágrafos, leva menos de 1 segundo.
Custo
O total na vast.ai foi de cerca de 75 dólares. Isso inclui o treinamento do 2B e a criação de dados para avaliação.
Resumo
- Mesmo com 0,8B, o treinamento adicional para RAG pode levar a precisão para cerca de 94%. Em especial, as invenções quando não há resposta são quase totalmente corrigidas
- O que funcionou foi aumentar a “variedade” dos dados de treino. Quantidade, número de épocas e taxa de aprendizado não ajudaram
- Para precisão, 2B; para velocidade, 0,8B. Acho ambos mais práticos do que um 4B sem treinamento adicional



