BANCO DE DECISÃO · BENCHMARK EXTERNO
TypeSafe · API · somente texto · identificado na execução como jev-1.13.0
Retrato dos resultados publicado pelo Decision Bench, consultado em 24/09/2026. Esta avaliação externa não mede a latência, o preço ou o desempenho da infraestrutura JEVaaS.
30 casos dependentes de imagem foram excluídos porque a imagem necessária não foi enviada. Os resultados gerais usam 1.041 casos elegíveis; os arquivos originais preservam a execução completa. O custo é estimado pela tabela de preços do benchmark, em dólares.
ONDE O MODELO SE ENCAIXA
Critério do benchmark: adequado com acurácia ≥ 90% e limite inferior do intervalo de 95% acima de 85%; arriscado com acurácia ≥ 80% sem atender ao primeiro critério; não adequado abaixo de 80%.
DO CASO DE USO À DECISÃO
35 de 35 tarefas exibidas
INSPECIONE OS ERROS
Casos destacados no documento de referência em que o Jev errou e a maioria dos modelos avaliados acertou. Abra a linha para consultar o contexto e o gabarito.
| Caso | Gabarito | Resposta do Jev | Acertos na comparação |
|---|---|---|---|
| Questão de raciocínio MT-Bench · direção da sombra da manhã ↗Escolha a melhor resposta. | A: A resposta A é melhor. | B | 10/12 |
| Teste Upworthy · uma hashtag do Twitter após um massacre ↗Preveja a manchete vencedora. | B: O pacote B teve uma taxa de cliques mais alta… | A | 10/12 |
| Chamada de ferramenta · painéis de monitoramento ↗Escolha a ferramenta certa | Obtenha um painel de controle personalizado | nenhum | 9/12 |
| Suporte ao cliente · varejo · devolução de purificador de ar ↗Verifique se o agente concluiu o trabalho. | não concluído | concluído | 9/12 |
| Comentário de notícias · a relevância da mídia tradicional ↗Denunciar comentários tóxicos | não tóxico | tóxico | 9/12 |
| Teste Upworthy · professores americanizam o nome de uma criança mexicana ↗Preveja a manchete vencedora. | A: O pacote A teve uma taxa de cliques mais alta… | B | 9/12 |
| Coluna CSV · FiveThirtyEight college-majors/recent-grads.csv · coluna 4 de 21 ↗Adivinhe o que cabe em uma coluna. | contagem ou medição | dinheiro | 9/12 |
| Conversa de suporte · varejo · cancelamento de um pedido não enviado ↗Verifique se o agente concluiu o trabalho. | não concluído | concluído | 8/12 |
| Resposta da Wikipédia · Qual o teor alcoólico da sidra? ↗Verifique uma resposta comparando-a com suas fontes. | não suportado | apoiado | 8/12 |
| Mensagem de bate-papo · um marcador de FIM e uma solicitação de verificação ortográfica ↗Capturar ataques rápidos | injeção | benigno | 8/12 |
| Resultado da pesquisa · “campo de golfe flutuante para lago” ↗Relevância da pesquisa de notas | complemento | irrelevante | 8/12 |
| Teste Upworthy · a história do estigma das doenças mentais ↗Preveja a manchete vencedora. | A: O pacote A teve uma taxa de cliques mais alta… | B | 8/12 |
| Teste Upworthy · um mapa do consumo de energia por país ↗Preveja a manchete vencedora. | B: O pacote B teve uma taxa de cliques mais alta… | A | 8/12 |
| Teste Upworthy · um curta de animação sobre trabalhadores americanos ↗Preveja a manchete vencedora. | A: O pacote A teve uma taxa de cliques mais alta… | B | 8/12 |
CONFIANÇA E INCERTEZA
Erro de calibração esperado: 0,014 · Brier: 0,096 · 15 erros com confiança de 90% ou mais.
Na diagonal, confiança declarada e acurácia observada coincidem. O tamanho do ponto representa a quantidade de casos.
| Faixa | Casos | Confiança média | Acurácia |
|---|---|---|---|
| 30%–40% | 1 | 38,0% | 100,0% |
| 40%–50% | 6 | 45,7% | 50,0% |
| 50%–60% | 31 | 55,0% | 58,1% |
| 60%–70% | 38 | 65,1% | 73,7% |
| 70%–80% | 57 | 74,5% | 73,7% |
| 80%–90% | 72 | 85,1% | 87,5% |
| 90%–100% | 836 | 99,0% | 98,2% |
Explore quantos casos permanecem acima do limiar escolhido e quantos erros restam nessa amostra.
836 de 1041 casos aceitos (80,3%), 15 erros. Taxa de erro: 1,8%.
Exploração da amostra publicada. Um limiar precisa ser calibrado com dados do seu domínio antes de orientar ações.
Os gráficos e agregados foram calculados a partir dos resultados públicos, excluindo a tarefa DSN-1, que exige imagem. Acurácia = acertos / casos elegíveis; intervalo de Wilson de 95%; calibração agrupada em dez faixas de confiança. Os empates de confiança são aceitos juntos no gráfico de risco.
DECISION DESKjev-1.13-bench-v4-c861f2a43599baea0d9c7e4e3d86c8b06af96e6850edca037b334bbc6b4e1a0033021725d3b619d3a83756026fadf152d2c1155385da7277113b8aefc46707713ada8e57Documento local de referência: “Jev 1.13 · Banco de Decisão.md”. A cópia é estática; revisões futuras da fonte não alteram esta página automaticamente. A comparação usa acurácia observada, inclui modelos empatados e não afirma superioridade estatística.
Os rótulos de adequação descrevem o conjunto avaliado. Não constituem autorização para decisões financeiras, jurídicas ou outras ações de alto impacto. Conheça os casos de uso JEVaaS e os preços da plataforma.