JEV Lab · banco de prova

Qual IA entrega mais, por menos?

Aqui a gente dá o mesmo trabalho, no mesmo instante, para vários modelos de IA — e mede ao vivo o que cada um entrega: velocidade, custo e assertividade na mesma tarefa. Escolha um case para começar.

Disponível

Notícias

Os mesmos títulos de um feed RSS saem ao mesmo tempo para vários modelos de IA. E cada classificação aparece assim que chega: quem cruza a linha primeiro, aparece primeiro. A gente compara tempo por request, custo e concordância entre os modelos.

Feed RSS ao vivo · qualquer feed pode ser coladoAbrir case
Disponível

Churn

Clientes de uma base real de telecom (a clássica Telco, da IBM/Kaggle) são sorteados e enviados aos modelos — sem a coluna Churn. Cada um estima a chance de cancelamento, e o placar é simples: acertou ou errou, contra o gabarito. Uma regressão logística, treinada na própria base, entra como referência do método clássico.

Base real com gabarito · LLMs vs. método clássicoAbrir case
Novo

Forca: Descobrindo palavras, letra-a-letra

Aqui a tarefa muda de natureza: em vez de classificar ou estimar, o modelo precisa decidir em sequência. Cada um recebe a mesma palavra escondida e segue tentando, letra por letra, até descobrir. A gente compara quanto tempo, quantas rodadas e quanto dinheiro cada solução exigiu.

Decisão em sequência · custo e tempo até resolverAbrir case

O placar acumulado

Toda corrida que roda aqui entra nesta conta. É a média de tudo que já passou pelo laboratório — quanto cada modelo demora e quanto custa por item, e, no churn, quanto acerta contra o gabarito real.

As linhas marcadas como referência não disputam o pódio: a regressão logística é o método clássico de estatística, e os modelos de fronteira — Claude Opus 5, Kimi K3 e GPT-5.6 Sol — não correm ao vivo (sairia caro e lento). A gente mediu cada fronteira em 50 requisições por case, com os mesmos prompts, em 20 de setembro de 2026. Servem de régua.

Somando o histórico…

Quem é o JEV?

A maioria dos modelos de IA foi feita para conversar: você pergunta, ele escreve. O JEV, da TypeSafe AI, nasceu para outra coisa — decidir. Em vez de devolver um texto para a gente interpretar, ele devolve a decisão pronta, com um nível de confiança: "esta notícia é Economia, 92% de certeza". É o que a TypeSafe chama de modelo System One: rápido, direto, sem conversa.

E é exatamente isso que este laboratório — o jev.welljose.net — coloca à prova. Será que um modelo feito para decidir é mesmo mais veloz, mais assertivo e mais barato do que os modelos de conversa adaptados para a mesma tarefa? Aqui a gente não assume: a gente mede.

Todos os modelos rodam via OpenRouter, com a mesma régua e o mesmo material — e o JEV entra como typesafe/jev-1.13. Quer a versão oficial, da fonte? O anúncio da TypeSafe está em typesafe.ai/blog.

Todos os cases usam a mesma régua: os modelos recebem exatamente o mesmo material, no mesmo instante, e os resultados aparecem na ordem de chegada — sem edição, sem gabarito imposto. Quando os modelos discordam, a divergência fica destacada para você julgar.