Os resultados dos testes desta arquitetura são bastante impressionantes.

As medições da carga de trabalho em produção mostraram ganhos de rendimento de aproximadamente 50% ao usar inferência desagregada em comparação com configurações tradicionais. Ainda mais interessante: a latência diminuiu entre 20 a 40% graças à otimização de roteamento consciente do cache KV.

Estes também não são benchmarks sintéticos — todas as métricas vieram de ambientes de produção reais a executar pedidos reais dos utilizadores.