Quando usar este fluxo de trabalho: O roteamento funciona bem para tarefas complexas em que há categorias distintas que são melhor tratadas separadamente e onde a classificação pode ser feita com precisão, seja por um LLM ou por um modelo/algoritmo de classificação mais tradicional.
Exemplos onde o roteamento é útil:
Direcionar diferentes tipos de consultas de atendimento ao cliente (perguntas gerais, solicitações de reembolso, suporte técnico) para diferentes processos, prompts e ferramentas posteriores.
Encaminhar perguntas fáceis/comuns para modelos menores, como Claude 3.5 Haiku, e perguntas difíceis/incomuns para modelos mais capazes, como Claude 3.5 Sonnet, para otimizar custos e velocidade.
Fluxo de trabalho: Paralelização – Às vezes, os LLMs podem trabalhar simultaneamente em uma tarefa e ter suas saídas agregadas programaticamente. Esse fluxo de trabalho, a paralelização, se manifesta em duas variações principais:
Seccionamento : dividir uma tarefa em subtarefas independentes executadas em paralelo.
Votação: executar a mesma tarefa várias vezes para obter resultados diversos.
O fluxo de trabalho de paralelização – Quando usar este fluxo de trabalho: A paralelização é eficaz quando as subtarefas divididas podem ser paralelizadas para maior velocidade ou quando múltiplas perspectivas ou tentativas são necessárias para resultados mais confiáveis. Para tarefas complexas com múltiplas considerações, os LLMs geralmente têm melhor desempenho quando cada consideração é tratada por uma chamada de LLM separada, permitindo atenção focada em cada aspecto específico.