Cobertura de suelo, seguimiento de IA de tipo agente mejorado... Soporte nativo de Google Vertex AI

La startup de observabilidad de aplicaciones Groundcover amplió significativamente su función de “observabilidad de IA”. Esta actualización refuerza la capacidad de seguimiento de sistemas de IA de tipo agente y añade soporte nativo completamente compatible con la plataforma de IA en la nube de Google, “Google Vertex AI”.

El enfoque de esta expansión se centra en llenar el “vacío de visibilidad” que enfrentan las empresas al integrar rápidamente modelos de lenguaje grande (LLM) en entornos de servicio reales. La mayoría de las herramientas de observabilidad existentes están diseñadas para software tradicional que opera según reglas predefinidas, y presentan limitaciones evidentes ante sistemas de IA que cambian en tiempo real con instrucciones y respuestas. Por ello, los equipos de desarrollo y operación tienen dificultades para entender qué entradas generan qué resultados, por qué cambian las respuestas y dónde se generan los costos y en qué cantidad.

Para abordar estos problemas, Groundcover ha mejorado sus funciones para capturar el contexto completo de las interacciones con LLM y rastrear el proceso de generación de resultados en sistemas de IA cada vez más complejos y en múltiples etapas. La compañía destaca especialmente que su ventaja principal radica en que puede aplicar observabilidad rápidamente sin necesidad de detección adicional en el entorno de ejecución.

Or Benjamin, vicepresidente de productos de Groundcover, afirmó: “Los clientes han expresado que las llamadas a LLM están fuera del alcance del equipo de observabilidad operacional. Quieren un método sistemático para entender las instrucciones, respuestas y costos. Para responder a las necesidades de monitoreo de IA a gran escala y en operaciones críticas, hemos desarrollado la observabilidad de IA”. Explicó.

Visibilidad en el seguimiento de agentes

El cambio más destacado en esta actualización es la “visibilidad en el seguimiento de agentes”. Con esta función, no solo se puede ver cada llamada al modelo, sino también observar simultáneamente el proceso de ejecución de herramientas, los parámetros, los resultados y las rutas de razonamiento durante el proceso. Para las empresas que operan flujos de trabajo de IA de múltiples pasos con agentes, será más fácil identificar causas de problemas y mejorar el rendimiento.

Mejoras en la gestión de costos

La función de gestión de costos también ha sido fortalecida. La nueva función de asignación precisa de costos, que considera la caché de instrucciones, busca rastrear los costos de tokens desde el nivel de unidades de ejecución detalladas. Esta distingue entre tokens de entrada normales, tokens de creación de caché y tokens de lectura de caché, reflejando con mayor precisión la compleja estructura de facturación de la API de LLM más reciente. Como resultado, los equipos pueden entender con mayor claridad los costos reales generados por ejecuciones o sesiones específicas de agentes.

Soporte para Google Vertex AI

Además, se ha añadido soporte para Google Vertex AI. Ahora, las empresas que construyen servicios de IA en Google Cloud pueden recopilar automáticamente datos de observabilidad relevantes sin detección adicional. La compañía afirma que su diseño garantiza que todos los datos de observabilidad permanezcan en el entorno del cliente, equilibrando seguridad y control de datos.

La función de observabilidad de IA de Groundcover se está desplegando automáticamente en todos los clientes de forma general. La empresa indicó que estos nuevos funciones fueron demostradas en el evento “Google Cloud Next” realizado del 22 al 24 de abril.

A medida que los servicios de IA cruzan rápidamente la fase experimental y entran en entornos de operación reales, la “observabilidad de IA” va más allá del simple monitoreo, emergiendo como un campo central para la gestión de calidad, costos y confiabilidad. Esta expansión de funciones se considera una medida para que las empresas operen de manera más estable los sistemas de IA de tipo agente, ampliando las bases necesarias para ello.

Notas de TP AI Este resumen se realizó con el modelo de lenguaje TokenPost.ai. El contenido principal puede estar omitido o diferir de la realidad.