Benchmark de domínio

O motor que sabe
quando não sabe.

Testamos a Synapse com Córtex Neural treinado contra o GPT-4o. Nenhum dos dois teve acesso a documentos adicionais via RAG. Os resultados validam 4 comportamentos que um LLM genérico não entrega de forma confiável.

Métrica 01

Factual Accuracy

Percentual de respostas factualmente corretas em perguntas com resposta verificável nos documentos técnicos.

Synapse
100%
GPT-4o
87%
Métrica 02

Hallucination Rate

Percentual de respostas que contêm informação inventada ou factualmente incorreta.

Synapse
0%
GPT-4o
20%
Zero alucinações
Métrica 03

Opinion Block

Quando a pergunta pede opinião de fabricante (dado que não existe em manuais técnicos), o sistema bloqueia a resposta em vez de inferir.

Synapse
100%
GPT-4o
0%
Métrica 04

Correct Abstention

Quando a informação não existe no corpus, o sistema reconhece a lacuna em vez de inventar uma resposta plausível.

Synapse
80%
GPT-4o
60%
Metodologia

30 perguntas técnicas em domínio treinado (aviação MRO, engenharia de materiais, medicina). Synapse com Córtex Neural treinado vs. GPT-4o, ambos sem acesso a documentos adicionais via RAG. Este teste simula o cenário real em que profissionais consultam IA sem uma base de conhecimento especializada. Teste realizado em 2026.

Próximo passo

Quer ver a Synapse rodando
com seus documentos?

Agende uma reunião com nossa equipe e veja o motor funcionando no seu domínio.

Agendar reunião