Agentes de IA criam um novo mundo de possibilidades para equipes que desenvolvem automações corporativas para melhorar e acelerar processos. De repente, agentes baseados em LLMs tornam possíveis workflows que antes eram imprevisíveis demais ou dependiam excessivamente de decisões humanas.

As lideranças das empresas perceberam esse potencial.

À medida que as equipes de TI enfrentam pressão para gerar valor com IA, fica claro que os resultados inconsistentes e imprecisos introduzidos por aplicações baseadas em grandes modelos de linguagem (LLMs) não são aceitáveis em aplicações críticas para o negócio. Acurácia e confiabilidade são justamente problemas que profissionais de integração passaram suas carreiras tentando resolver.

Sabemos disso muito bem. Os agentes são o futuro, e queremos que as equipes de integração sejam responsáveis por eles. Na Digibee, dedicamos muito tempo a entender os desafios enfrentados pelos agentes e como superá-los.

O que não podemos mudar, ainda

Até a publicação deste artigo, porque IA muda rápido, os LLMs enfrentam três grandes desafios inevitáveis que reduzem a confiabilidade dos agentes:

• Alucinações: os LLMs frequentemente geram respostas que parecem corretas, mas às vezes estão erradas.
• Não determinismo: mesmo com prompts de entrada idênticos, as respostas dos LLMs podem variar.
• Limitações de contexto: quanto mais tokens um LLM recebe, maior a probabilidade de cometer um erro.

Para colocar agentes confiáveis e precisos em produção apesar desses desafios, os desenvolvedores precisam construir sistemas robustos ao redor deles.

Três abordagens e onde os agentes se encaixam

Automações ajudam pessoas a realizar tarefas reduzindo ou eliminando a necessidade de intervenção humana. Com o surgimento de novas abordagens, é importante escolher a solução certa para cada tarefa.

De forma geral, as abordagens de automação se dividem em três categorias:

1. Automação determinística: triggers específicos geram ações específicas, como quando um usuário solicita a redefinição de senha e recebe um link por e-mail. É mais adequada para casos de uso com entradas e processos altamente previsíveis.
2. Agentes autônomos: os agentes coordenam suas próprias ações dinamicamente, decidindo quando colaborar, delegar e transferir tarefas. São mais adequados para casos de uso muito abertos e que mantêm humanos ativamente no processo.
3. Agentes orquestrados: humanos definem a sequência e a estrutura das entradas e ações dos agentes, com pouca autonomia agêntica. São mais adequados para casos de uso que se beneficiam da criatividade dos agentes em etapas específicas, mas exigem acurácia e previsibilidade no processo como um todo.

Dados do mercado apontam de forma consistente para agentes orquestrados em implementações em produção. Essa abordagem custa de 4 a 15 vezes menos do que agentes autônomos e oferece maior confiabilidade.

Organizações como Mayo Clinic, Kaiser Permanente, ServiceNow e PwC utilizam padrões de agentes orquestrados em implementações em produção para aumentar a confiabilidade, controlar custos e atender a requisitos de compliance. Estudos sobre sistemas multiagentes identificaram que 60% das tentativas de implementar agentes autônomos não conseguem escalar além de projetos-piloto, principalmente devido à complexidade de coordenação e a falhas de especificação.

As estratégias abaixo se concentram em agentes orquestrados, uma abordagem já utilizada em implementações corporativas nas quais acurácia e previsibilidade são fundamentais.

APIs legadas não foram criadas para agentes

Agentes de IA corporativos geram impacto por meio de suas interações com APIs. Mas arquiteturas de APIs, principalmente as de sistemas legados, podem dificultar o sucesso dos agentes.

Agentes se perdem com APIs muito "conversadoras"

Cada etapa executada por um agente aumenta a probabilidade de uma transação falhar, reduzindo sua confiabilidade em transações mais longas.

• Problema: APIs REST muito "conversadoras" frequentemente exigem várias chamadas sequenciais para alcançar um único resultado. Por exemplo, buscar um funcionário, depois o ID de sua equipe e, em seguida, seu gestor.
• Solução: em vez de expor chamadas individuais de API, crie uma única ferramenta que encapsule todas as interações necessárias com as APIs. Por exemplo, getEmployeeManager(employeeName). O agente chama uma única ferramenta, que cuida da orquestração interna. Isso reduz o número de etapas executadas pelo agente e aumenta a acurácia.

APIs legadas fornecem pouco contexto sobre erros

Pipelines de agentes podem se autorrecuperar quando encontram erros de API. Eles podem chamar endpoints novamente em intervalos progressivamente maiores ou atualizar estruturas de payload para corresponder à alteração do nome de um campo. No entanto, isso exige informações suficientes.

• Problema: APIs tradicionais criadas para consumo por software frequentemente retornam códigos de erro genéricos ou respostas vazias.
• Solução: pipelines MCP podem enriquecer as respostas de erro das APIs, transformando um simples "404 Not Found" em uma mensagem semanticamente mais rica, como: "Erro: o ID do funcionário não existe no sistema. Verifique o ID." Esse feedback detalhado permite que o agente entenda o erro, tente uma ação corretiva ou peça esclarecimentos ao usuário.

Pipelines MCP da Digibee

Na Digibee, pipelines sempre foram a forma como as equipes de integração orquestram workflows complexos entre sistemas e dados.

Quando um agente precisa executar uma ação sempre da mesma maneira, sem necessidade de criatividade ou autonomia, um pipeline é a solução ideal.

A Digibee disponibiliza esses pipelines nativamente como ferramentas MCP para que qualquer agente possa utilizá-los.

Agentes de IA podem ter dificuldades com regras definidas em prompts

Para gerar valor para o negócio, os agentes precisam seguir regras corporativas. Agentes sem os limites adequados podem executar ações prejudiciais para a empresa, como vender uma caminhonete por US$ 1, embora normalmente as consequências sejam mais sutis.

Agentes podem se desviar dos processos da empresa

Em muitos casos de uso, um agente precisa seguir uma ordem específica de operações. Por exemplo, verificar a pontuação de crédito de um cliente antes de aprovar um empréstimo.

• Problema: estudos mostram que agentes podem se desviar até mesmo de processos descritos com clareza, transformando sua "criatividade" em um risco.
• Solução: orquestre os agentes de forma definida e determinística. Ao integrá-los a um pipeline estruturado, você garante a aplicação dos processos da empresa, utiliza a criatividade do agente apenas quando ela agrega valor e assegura que cada etapa seja executada na ordem correta.

Regras de negócio mais específicas podem se perder

Regras de negócio complexas, como limites de bagagem de companhias aéreas de acordo com a classe da passagem, muitas vezes confundem clientes e funcionários. Agentes de IA, treinados a partir de conteúdo produzido por humanos, compartilham essa limitação em uma escala mil vezes maior.

• Problema: a natureza não determinística dos LLMs pode fazer com que eles se comportem de maneira inconsistente ao seguir regras definidas em prompts, criando problemas de auditabilidade e compliance.
• Solução: em vez de incorporar regras de negócio aos prompts dos agentes, transforme-as em pipelines MCP determinísticos. Essa mudança faz com que as regras sejam executadas com 100% de previsibilidade. Isso ajuda a garantir compliance, cria uma trilha de lógica auditável para cada decisão e elimina o risco de interpretações incorretas pelo LLM.

Contextos sobrecarregados confundem os agentes

Nos bastidores, cada ação executada por um agente começa com um prompt enviado a um LLM. O tamanho e a estrutura desse prompt podem afetar significativamente o sucesso ou o fracasso da ação.

Informações importantes podem se perder em contextos longos

Cada informação enviada ou gerada por um agente aumenta seu "contexto", que inclui prompts de sistema, mensagens dos usuários, descrições de ferramentas e o texto presente em cada etapa do raciocínio do agente.

• Problema: um número elevado de tokens aumenta o custo do agente e reduz sua acurácia. Informações importantes podem se "perder no meio". Em casos extremos, a quantidade de tokens pode ultrapassar a "janela de contexto" do LLM e gerar erros.
• Solução: ferramentas baseadas em pipelines MCP podem utilizar padrões conhecidos por clientes de plataformas de integração como serviço (iPaaS) para expor apenas as informações necessárias. Em vez de enviar todo o registro de um cliente, esses wrappers inteligentes utilizam APIs existentes para retornar somente os campos necessários para cada transação, reduzindo o consumo de tokens e aumentando a acurácia.

Exemplos de consumo de tokens

Prompt de sistema: instruções iniciais que definem o comportamento, o tom e/ou o papel de um agente antes de qualquer interação com o usuário.

Mensagens do usuário: entradas de texto ou consultas fornecidas por usuários humanos durante a interação com o sistema de IA.

Descrições de ferramentas: explicações breves sobre ferramentas ou funções externas que um agente de IA pode utilizar, como busca na web, calculadora ou API.

Etapas: ações ou estágios ordenados que um workflow ou processo de IA segue para concluir uma tarefa.

Agentes se confundem quando têm ferramentas demais

A escolha e o design das ferramentas disponíveis para um agente têm impacto significativo em sua performance. Pesquisadores da Microsoft identificaram recentemente 1.470 servidores MCP diferentes no smithery.ai e no Docker MCP Hub, além de catalogarem uma série de problemas na oferta disponível, incluindo centenas de "colisões" entre ferramentas capazes de confundir os modelos.

• Problema: ferramentas demais, funcionalidades sobrepostas ou descrições pouco claras dificultam a escolha da ferramenta correta para cada tarefa, reduzindo a acurácia do agente.
• Solução: a plataforma da Digibee permite criar ferramentas MCP específicas e altamente focadas em determinadas tarefas. Também permite filtrar dinamicamente quais ferramentas são apresentadas a um agente. Isso reduz a ambiguidade e aumenta a probabilidade de utilização da ferramenta correta.

Como a falta de observabilidade limita o impacto e a evolução dos agentes

Construir agentes é um processo iterativo. Para melhorar continuamente sua acurácia e performance, mecanismos robustos de observabilidade e avaliação são indispensáveis tanto durante o desenvolvimento quanto em produção, mas muitas vezes estão ausentes.

• Problema: sem visibilidade sobre o funcionamento interno do agente, os desenvolvedores têm dificuldade para identificar padrões de falha ou ineficiência.
• Solução: com a Digibee, os usuários podem analisar e avaliar os traces armazenados dos agentes, obtendo uma visão transparente de cada etapa, chamada de ferramenta e resposta. Assim, conseguem identificar padrões recorrentes em que os agentes encontram dificuldades ou seguem caminhos abaixo do ideal.

Essa capacidade analítica é fundamental para implementar mudanças que tornem os agentes mais precisos e eficientes, transformando seu desenvolvimento e aprimoramento em um processo orientado por dados.

Você pode construir agentes corporativos eficazes

Construir agentes de IA precisos e confiáveis é complexo. É necessário considerar cuidadosamente o comportamento dos LLMs e adotar as soluções certas para superar os desafios de acurácia.

Com a Digibee, equipes de integração podem colocar agentes confiáveis em produção mais rapidamente ao:

• Utilizar workflows de agentes orquestrados para limitar comportamentos criativos indesejados
• Criar ferramentas MCP que garantem a execução determinística de regras
• Otimizar o uso de tokens por meio da transformação de dados
• Consolidar APIs muito "conversadoras" para reduzir o número de ações dos agentes
• Implementar tratamento inteligente de erros para criar agentes capazes de se autorrecuperar
• Contar com recursos abrangentes de avaliação

Transforme o potencial dos agentes em soluções que geram valor real e mensurável. Saiba mais sobre como construir agentes com a Digibee.