# O mínimo para ser AI Engineer: primeiro evals, depois context engineering, só então fine-tuning

> Fine-tuning é o mínimo para ser AI Engineer? Um debate no X disse sim, depois não. Conferimos com Anthropic, OpenAI e praticantes: evals vêm primeiro.

- URL: https://blog.w2bit.com/blog/minimo-para-ser-ai-engineer-evals-fine-tuning-rag
- Autor: Davidson Simões
- Publicado em: 2026-11-20
- Idioma: pt-BR
- Tags: ia, ai-engineer, evals, fine-tuning, rag, carreira, desenvolvimento
- Também disponível em inglês: https://blog.w2bit.com/en/blog/minimum-to-be-an-ai-engineer-evals-fine-tuning-rag

O mínimo para ser AI Engineer não é saber fazer fine-tuning de um modelo. É conseguir provar, com uma avaliação que você mesmo construiu, que aquilo que você entregou funciona, e melhorar isso com a alavanca mais barata disponível, que quase sempre é o contexto que você dá ao modelo, não os pesos dele. As fontes primárias concordam: o time de engenharia da Anthropic diz que evals transformam "o agente parece pior" em algo acionável; o guia de otimização da OpenAI coloca evals antes de prompt e prompt antes de fine-tuning, e a OpenAI está encerrando sua plataforma de fine-tuning para novos usuários; e o ensaio de 2023 que batizou a função citou Andrej Karpathy: dá para ter sucesso nela sem nunca treinar nada. Fine-tuning é uma habilidade real, mas é especialização, não bilhete de entrada.

## Resumo rápido

- **Evals são o mínimo.** Critérios de sucesso, 20 a 50 casos tirados de falhas reais, avaliação em código onde der e por modelo onde precisar, leitura das transcrições.
- **Context engineering é a primeira alavanca.** Prompt, ferramentas, recuperação e memória decidem a maior parte do comportamento e custam menos do que mexer em pesos.
- **Fine-tuning é especialização.** Compensa para formato, estilo, regras e modelos menores; 99% do trabalho é dado, e um bom sistema de evals produz esse dado.
- **Engenharia de software é a maior parte do trabalho.** A função foi definida como escrever software em volta de modelos.

## O debate que motivou este post

Em 18 de novembro, um desenvolvedor brasileiro publicou no X que só dá para ser AI Engineer se você souber, no mínimo, fazer um fine-tuning e um eval do que construiu, "mínimo do mínimo". A resposta veio rápido: muita coisa se resolve com RAG e context engineering, um AI Engineer precisa saber mais de engenharia de software do que de modelagem, e fine-tuning é diferencial, não piso. O autor reconheceu que tinha jogado a régua alto demais. A thread é curta, mas captura uma divergência que aparece em entrevistas e no planejamento das primeiras features de IA de um time. Vale conferir as duas posições com o que as empresas de modelos e os praticantes recomendam.

![Mapa de competências de um AI Engineer em três camadas: o mínimo (evals, context engineering, tool calling, saídas estruturadas, fundamentos de RAG, guardrails, latência e custo, streaming), a camada seguinte (agentes e fluxos agênticos, memória, MCP, tratamento de alucinações) e a especialização (fine-tuning com SFT, DPO e GRPO, destilação)](https://blog.w2bit.com/static/images/ai-engineer-minimum/competency-map.pt-br.webp)

_Leitura da W2BIT sobre as fontes: a primeira camada é o que você precisa para entregar com responsabilidade; a última é onde mora o fine-tuning._

## Como a função foi definida

O termo AI Engineer foi popularizado por swyx em junho de 2023, em "The Rise of the AI Engineer". O ensaio descreve um "deslocamento para a direita" da IA aplicada: tarefas que exigiam um time de pesquisa passaram a exigir documentação de API e uma tarde livre, e um novo tipo de engenheiro de software fica do lado da aplicação da chamada linha da API, construindo sobre modelos de fundação em vez de treiná-los. Ele cita a previsão de Karpathy de que haverá bem mais AI Engineers do que engenheiros de ML e de que dá para ter sucesso na função sem nunca treinar nada. O diagrama foi criticado pelo lugar em que colocou os evals, e o texto concorda: os laboratórios cuidam de dados de pré-treino e benchmarks gerais, mas "AI Engineers devem encarar dados e evals específicos do produto como trabalho deles". A linha é permeável: dá para ir à esquerda e fazer fine-tuning quando faz sentido.

Isso já responde boa parte do debate. A função foi definida por entregar software em cima de modelos e ser dono da evidência de que ele funciona, não por treinar.

## Evals são o mínimo de verdade

O guia de engenharia da Anthropic sobre evals para agentes, de janeiro de 2026, define eval como um teste para um sistema de IA: dê uma entrada, aplique uma lógica de avaliação à saída, meça o sucesso. O argumento para evals não serem opcionais é o que todo time acaba vivendo: sem eles, usuários relatam que o produto piorou depois de uma mudança e o time fica "voando às cegas", sem distinguir regressão de ruído. O conselho para começar é modesto de propósito: times adiam porque acham que precisam de centenas de casos, mas 20 a 50 casos simples tirados de falhas reais são um bom começo, porque no início cada mudança tem efeito grande e visível. Escreva casos que dois especialistas avaliariam do mesmo jeito e monte conjuntos balanceados, que testem quando um comportamento deve e quando não deve acontecer.

Três distinções desse guia pertencem ao vocabulário de qualquer AI Engineer. Avaliadores vêm em três tipos: em código (comparação de strings, testes binários, análise estática, checagem de estado), rápidos e objetivos; por modelo (rubricas, comparação em pares), que capturam nuance mas precisam de calibração humana; e humanos, o padrão-ouro, usados com parcimônia. Evals vêm em dois tipos: de capacidade, que começam com acerto baixo e dão ao time uma colina para subir, e de regressão, que devem ficar perto de 100%. E como agentes não são determinísticos, a métrica depende do produto: pass@k (pelo menos um sucesso em k tentativas) ou pass^k (todas as k com sucesso), que é o que um agente voltado ao cliente precisa. O conselho final é o menos glamoroso e o mais importante: leia as transcrições, porque 0% de acerto em muitas tentativas costuma indicar um caso quebrado, não um agente incapaz.

"Your AI Product Needs Evals", de Hamel Husain, de 2024, chega ao mesmo lugar pelo lado de quem pratica. Produtos com LLM que fracassam, escreve ele, quase sempre têm a mesma causa raiz: não construíram um sistema robusto de avaliação. Ele descreve três níveis, testes unitários como asserções que rodam a cada mudança, avaliação humana e por modelo em cadência e testes A/B para produtos maduros, e um assistente imobiliário cujo time mantém centenas desses testes. A regra dele não tem exceção: você nunca pode parar de olhar os dados. A documentação da Anthropic acrescenta o começo do processo: critérios de sucesso específicos, mensuráveis, alcançáveis e relevantes, a diferença entre "o modelo deve classificar sentimentos bem" e uma meta de F1 em um conjunto separado, com limite de latência.

Nada disso exige GPU. Exige critério de produto, disciplina de testes e disposição para ler muito log. Por isso é o mínimo.

## Context engineering vem antes dos pesos

A segunda coisa que a réplica acertou é que a maior parte do comportamento é decidida pelo contexto. O time de IA aplicada da Anthropic, em "Effective context engineering for AI agents", descreve context engineering como a evolução natural do prompt engineering: não é mais achar as palavras certas, e sim responder "qual configuração de contexto tem mais chance de gerar o comportamento desejado do modelo". Contexto é um recurso finito com retornos decrescentes; a recuperação em contextos longos degrada, o que eles chamam de context rot, então a meta é o menor conjunto de tokens de alto sinal que maximize a chance do resultado desejado.

O post é um currículo prático por si só. System prompts devem ficar na altitude certa, nem lógica frágil de if-else nem orientação vaga. Ferramentas são o contrato entre o agente e o ambiente, e conjuntos inchados e sobrepostos estão entre as falhas mais comuns. A recuperação migra do RAG baseado em embeddings, feito antes da inferência, para estratégias "just in time", em que o agente carrega dados com ferramentas quando precisa, muitas vezes em modo híbrido. Para tarefas longas, compactação, anotações estruturadas e subagentes mantêm o agente coerente além da janela. Cada item dessa lista você muda em uma tarde e mede no mesmo dia com os evals da seção anterior. Mudar pesos não é nenhuma das duas coisas.

![O ciclo de otimização de uma feature de IA: escrever evals, trabalhar prompt e contexto, medir contra os evals, fazer fine-tuning só quando os evals mostram uma lacuna que o contexto não fecha, e medir de novo](https://blog.w2bit.com/static/images/ai-engineer-minimum/optimization-loop.pt-br.webp)

_O ciclo que OpenAI e Anthropic descrevem: evals definem a linha de base, contexto é a primeira alavanca, fine-tuning entra só quando os evals justificam._

## Onde o fine-tuning entra

O guia de otimização de modelos da OpenAI apresenta exatamente essa ordem. O fluxo começa escrevendo evals para a linha de base, depois faz prompt com o contexto relevante e só "para alguns casos de uso" faz fine-tuning, antes de rodar os evals de novo e repetir. As razões para fine-tuning são específicas: mais exemplos do que cabem na janela de contexto, prompts mais curtos que economizam tokens e latência em escala, dados proprietários e um modelo menor e mais barato para uma tarefa estreita. O fine-tuning supervisionado cobre classificação, formato e seguimento de instruções; a otimização direta de preferências cobre tom e estilo.

Um fato nesse guia relativiza a tese do "fine-tuning é o piso". A página agora diz que os fluxos de evals e fine-tuning estão indo para documentação legada e que a OpenAI está encerrando sua plataforma de fine-tuning: não está mais acessível a novos usuários, e usuários existentes podem criar jobs pelos próximos meses. A habilidade não sumiu, mas mudou de lugar: para modelos de pesos abertos e bibliotecas como a TRL da Hugging Face, cujos treinadores cobrem SFT, DPO, GRPO, modelagem de recompensa e destilação, com um curso de pós-treinamento indicado na documentação.

O enquadramento de Hamel Husain é o que ensinaríamos: fine-tuning é melhor para aprender sintaxe, estilo e regras, enquanto técnicas como RAG fornecem contexto e fatos atualizados. Ele também resolve a ordem das operações: 99% do trabalho de fine-tuning é montar dados de alta qualidade que cubram a superfície do produto, e um sistema sólido de evals já é um motor de geração e curadoria de dados. Não dá para fazer fine-tuning bem sem antes fazer evals bem, outro jeito de dizer qual dos dois é o mínimo.

## Engenharia de software continua sendo a maior parte

A réplica que pediu mais engenharia de software também tem respaldo nas fontes. O subtítulo do ensaio fundador diz que o caminho é "escrever software, e IA que escreve software". O guia de evals da Anthropic descreve o harness de avaliação como infraestrutura que isola ambientes, registra passos e agrega resultados, e recomenda rodar evals no CI a cada mudança e a cada troca de modelo. As ferramentas, no post de context engineering, são descritas como funções de uma base de código bem desenhada.

A lista de competências que usamos na W2BIT quando discutimos essa função parece um currículo de software com um modelo no meio: tool e function calling, saídas estruturadas, streaming, latência e custo, guardrails, memória, MCP, embeddings, chunking e reranking para recuperação. Cada item é engenharia comum aplicada a um componente não determinístico, e só é seguro de mudar se um eval disser o que aconteceu.

## Um projeto de portfólio que prova o mínimo

Nossa sugestão para quem quer uma vaga de AI Engineer, montada a partir das fontes acima:

1. **Escolha uma tarefa estreita e real**, com resultado claro, como extrair campos estruturados de tickets de suporte ou rotear relatórios de crash de um app de TV para o componente certo.
2. **Escreva os critérios de sucesso primeiro**, na forma específica e mensurável que a documentação da Anthropic descreve, com latência e custo.
3. **Monte 30 a 50 casos de eval** a partir de falhas reais ou realistas, com avaliadores em código onde der e um avaliador LLM calibrado para a parte subjetiva. Commite o harness e rode no CI.
4. **Chegue a uma linha de base só com contexto**: prompt, ferramentas, recuperação, saídas estruturadas. Registre acerto, custo por caso e latência.
5. **Só então faça fine-tuning de um modelo aberto pequeno** com a TRL, usando os dados que seus evals já curaram, e reporte as mesmas métricas no mesmo eval. Se o ganho for marginal, diga; resultado negativo com evidência vale mais do que positivo sem.
6. **Publique as transcrições e o relato**, com o que você aprendeu com as falhas.

![Projeto de portfólio em seis passos para quem quer ser AI Engineer: escolher uma tarefa estreita, definir critérios de sucesso, montar 30 a 50 casos de eval com avaliadores no CI, chegar a uma linha de base com prompt e contexto, fazer fine-tuning de um modelo aberto pequeno com a TRL e comparar no mesmo eval, publicar transcrições e relato](https://blog.w2bit.com/static/images/ai-engineer-minimum/portfolio-project.pt-br.webp)

_Um projeto que mostra evals, context engineering e fine-tuning na ordem que as fontes recomendam, com evidência em cada passo._

Esse projeto mostra o mínimo e a especialização em um único repositório, e o que gestores de contratação mais raramente encontram: alguém que diz, com números, se a própria mudança ajudou.

## O que isso significa para times de produto e de TV

Na W2BIT, desenvolvemos apps para Smart TV com React e React Native, e features de IA em TV, como busca, recomendação e assistentes, rodam em aparelhos limitados diante de usuários que não vão tentar de novo. Para um time como o nosso, o mínimo se traduz direto: uma suíte de evals para cada feature de IA antes de ir ao ar, context engineering como forma padrão de corrigir comportamento e fine-tuning só quando um modelo menor é a única forma de caber no orçamento de latência ou custo. Isso é interpretação nossa, não afirmação das fontes sobre TV.

## Perguntas frequentes

### Preciso saber fine-tuning para ser AI Engineer?

Não como mínimo. As fontes que definem e orientam a função colocam evals e context engineering primeiro, e o guia de otimização da OpenAI trata fine-tuning como um passo para alguns casos de uso, depois de evals e prompt. É uma especialização valiosa, principalmente em modelos de pesos abertos, quando você já consegue medir o que ela muda.

### Qual é o setup mínimo de evals para uma feature de IA?

A orientação da Anthropic é de 20 a 50 casos tirados de falhas reais, com critérios de sucesso sem ambiguidade, avaliadores em código onde possível, um avaliador por modelo calibrado onde necessário e leitura regular das transcrições. Hamel Husain acrescenta asserções no estilo de testes unitários a cada mudança, com revisão humana e por modelo em cadência.

### O que é context engineering e qual a diferença para prompt engineering?

A Anthropic descreve context engineering como a evolução do prompt engineering: curar todo o conjunto de tokens que o modelo vê, incluindo system prompt, ferramentas, dados recuperados, histórico e memória, em vez de só redigir o prompt. A meta é o menor conjunto de tokens de alto sinal que produza o comportamento desejado.

### Quando o fine-tuning faz sentido?

Segundo o guia da OpenAI e Hamel Husain, quando você precisa de formato, estilo ou regras consistentes, de mais exemplos do que cabem na janela de contexto, de prompts mais curtos em escala ou de um modelo menor e mais barato para uma tarefa estreita. RAG e contexto são as ferramentas certas para fatos e informação atualizada.

## Fontes

1. JP (@mindofjota), publicação no X, 18 de novembro de 2026. [https://x.com/mindofjota/status/2123178024439107690](https://x.com/mindofjota/status/2123178024439107690)
2. swyx, "The Rise of the AI Engineer", Latent Space, 30 de junho de 2023. [https://www.latent.space/p/ai-engineer](https://www.latent.space/p/ai-engineer)
3. Anthropic, "Demystifying evals for AI agents", 9 de janeiro de 2026. [https://www.anthropic.com/research/demystifying-evals-for-ai-agents](https://www.anthropic.com/research/demystifying-evals-for-ai-agents)
4. Anthropic, "Effective context engineering for AI agents", 29 de setembro de 2025. [https://www.anthropic.com/research/effective-context-engineering-for-ai-agents](https://www.anthropic.com/research/effective-context-engineering-for-ai-agents)
5. Anthropic, "Define success criteria and build evaluations" (documentação da Claude Platform). [https://docs.claude.com/en/docs/test-and-evaluate/develop-tests](https://docs.claude.com/en/docs/test-and-evaluate/develop-tests)
6. OpenAI, "Model optimization" (documentação da API). [https://developers.openai.com/api/docs/guides/model-optimization](https://developers.openai.com/api/docs/guides/model-optimization)
7. Hamel Husain, "Your AI Product Needs Evals", 29 de março de 2024. [https://hamel.dev/blog/posts/evals/](https://hamel.dev/blog/posts/evals/)
8. Hugging Face, "TRL - Transformers Reinforcement Learning" (documentação). [https://huggingface.co/docs/trl/index](https://huggingface.co/docs/trl/index)
