Jev: e se uma IA não precisasse gerar texto?

Grande parte do que fazemos hoje com IA segue praticamente o mesmo modelo: enviamos um contexto, o modelo processa aquilo e gera uma resposta em texto, token por token.

Isso funciona muito bem quando queremos conversar, escrever código, resumir documentos ou gerar conteúdo. Mas existe uma quantidade enorme de problemas em software que não precisam de nenhuma dessas coisas.

Às vezes, precisamos apenas de uma decisão.

Qual workflow executar? Qual categoria escolher? Uma solicitação é urgente? Qual ferramenta deve ser chamada? Uma determinada ação deve continuar ou parar?

É nesse espaço que entra o Jev, da TypeSafe.

A proposta é relativamente simples: em vez de pedir para um modelo gerar uma resposta aberta, você define antecipadamente as possibilidades e fornece o contexto necessário para que ele escolha entre elas.

Por exemplo:

Qual ação deve ser executada?

[aprovar, rejeitar, solicitar revisão]

O modelo não precisa escrever uma explicação sobre sua decisão. Ele simplesmente escolhe uma das alternativas e pode fornecer uma probabilidade para cada uma.

Isso muda bastante a forma de pensar sobre o uso de IA.

Menos geração, mais decisão

Um LLM tradicional é extremamente flexível justamente porque pode gerar praticamente qualquer sequência de texto.

O problema é que essa flexibilidade também tem um custo.

Se eu preciso apenas descobrir se um chamado deve ir para suporte, financeiro ou comercial, utilizar um modelo capaz de escrever milhares de palavras pode ser um pouco como usar um compilador inteiro para resolver um if.

O Jev tenta atacar exatamente essa parte.

A TypeSafe criou o modelo para trabalhar com decisões estruturadas e, segundo a empresa, utilizando processamento paralelo para avaliar as alternativas em vez de gerar uma resposta sequencialmente.

A consequência prometida é interessante: respostas muito rápidas e um custo de inferência extremamente baixo.

Mas existe uma troca importante.

Quanto mais você restringe o que a IA pode responder, mais previsível ela fica, e menos coisas ela consegue fazer.

E talvez essa seja a característica mais importante do Jev.

Ele não está tentando ser um GPT menor, mais barato ou mais rápido.

A ideia é ser uma peça diferente dentro de uma aplicação.

Onde isso realmente poderia fazer sentido?

Pense em um sistema industrial.

Um evento acontece e precisamos decidir:

A máquina está em uma condição que exige intervenção?

[sim, não]

Ou em um SaaS:

Qual fluxo deve ser executado?

[criar_ticket, responder_cliente, encaminhar_humano]

Ou ainda como uma camada entre uma aplicação e outro agente de IA:

A resposta recebida pode ser executada automaticamente?

[sim, não, revisão_humana]

Nesses casos, não precisamos necessariamente de criatividade.

Precisamos de decisões rápidas, estruturadas e suficientemente confiáveis.

E é justamente aí que o conceito começa a ficar interessante.

Mas existe uma pergunta difícil

Velocidade e custo são fáceis de medir.

O que realmente importa é se a decisão está correta.

Um modelo que responde em 100 ms, mas escolhe a alternativa errada com frequência, não necessariamente é melhor do que um modelo dez vezes mais lento.

Além disso, existe uma diferença importante entre escolher uma alternativa e entender o contexto que levou até ela.

A própria proposta do Jev depende de nós conseguirmos definir corretamente as opções possíveis. Se esquecermos uma alternativa importante, o modelo não poderá escolhê-la.

Isso coloca o Jev em uma posição curiosa.

Ele pode ser muito interessante justamente porque não tenta resolver tudo.

Mas essa mesma característica pode limitar bastante onde ele realmente é útil.

Hype ou uma nova peça do stack?

É aqui que eu acho que vale experimentar.

Não parece fazer muito sentido perguntar se o Jev é “melhor” que GPT, Claude ou Gemini. Eles estão resolvendo problemas diferentes.

A pergunta mais interessante seria outra:

quantos lugares dentro de uma aplicação onde hoje usamos um LLM poderiam, na verdade, ser tratados como um problema de decisão?

Se a resposta for muitos, existe uma oportunidade real aqui.

Se, depois de testar, descobrirmos que os casos interessantes são poucos, que a precisão não compensa ou que uma regra tradicional resolve o problema melhor, talvez o Jev seja apenas uma tecnologia curiosa.

E isso é justamente o que torna o lançamento interessante.

Não porque ele promete ser a próxima grande IA, mas porque propõe uma ideia simples:

talvez nem todo problema de IA precise de uma IA que saiba falar.

Agora falta descobrir quantos problemas realmente precisam apenas de uma IA que saiba decidir.