Una IA que se sostiene fuera de la demo.

• Una funcionalidad de IA que funciona en una demo y a la que todavía no se ha confiado ningún usuario real.
• Un agente que necesita actuar en sistemas reales, donde la pregunta es qué no debe poder hacer jamás.
• Un flujo de trabajo con repetición de verdad, donde el criterio sigue siendo de una persona y la mecánica no debería serlo.
• Una superficie de IA existente que cambia de comportamiento de forma impredecible cuando se actualiza un prompt o un modelo.
• Un producto donde la calidad de la recuperación de información, y no la elección del modelo, es lo que decide de verdad si las respuestas son buenas.

Una arquitectura de referencia, es decir, la forma sobre la que se diseña el trabajo y no un registro de sistemas entregados. Nombra capas y responsabilidades, nunca productos: lo que se ejecuta en una capa determinada es una decisión que se toma contigo durante el alcance, no aquí por adelantado.

• Orquestación de agentes y flujos de trabajo: los pasos, el estado entre ellos y lo que ocurre cuando uno falla.
• Límites explícitos de herramientas y permisos: lo que el sistema puede leer, escribir y llamar, decidido y escrito.
• Diseño del contexto y de la recuperación de información, construido sobre las preguntas que el sistema tiene que responder de verdad.
• Un plan y un banco de evaluación: los casos contra los que se mide y el procedimiento para comprobar un cambio antes de que salga.
• Salvaguardas y vías de fallo definidas, incluido lo que hace el sistema cuando no está seguro.
• El movimiento de datos entre los sistemas que toca, con los límites que cruzan los datos hechos deliberados.

• Sacar un cambio en una superficie de IA porque se veía mejor en una demo.
• Un agente que puede llegar a un sistema al que nadie pretendía que llegara, porque heredó una credencial en lugar de que se le concediera.
• Un comportamiento que cambia sin aviso cuando una versión del modelo se mueve por debajo.
• Una vía de fallo descubierta por un usuario en lugar de diseñada por un ingeniero.
• Una automatización que mueve el trabajo a otro sitio en lugar de eliminarlo.

• Una demo pensada para conseguir financiación y no para servir a usuarios. Es algo legítimo de querer, y no es lo que se hace aquí.
• Entrenar o ajustar modelos como protagonista. El trabajo aquí es el sistema alrededor del modelo; cuando un ajuste fino es de verdad la respuesta, eso se dice durante el alcance.
• Una funcionalidad de IA sin condición de éxito definida, donde nadie sabe decir cómo es una buena respuesta. Eso es una cuestión de producto, y va primero.
• Sustituir un criterio que debe seguir siendo de una persona. La automatización apunta a la mecánica repetitiva, no a la decisión.
• Cualquier cosa que exija publicar una cifra de benchmark antes de que exista el sistema que medir.

1. 01

   El plan de evaluación, y el banco que lo ejecuta

   Lo que el sistema puede hacer, lo que no debe hacer jamás, los casos contra los que se mide y el procedimiento para comprobar un cambio de prompt o de modelo. Tu equipo lo ejecuta cuando ya no estemos; ese es su propósito.

2. 02

   El modelo de permisos, por escrito

   Lo que cada agente, tarea e integración puede leer, escribir y llamar, y por qué. Un control que se puede rastrear hasta su razón se puede revisar. Uno que no, se adivina y acaba ampliándose.

3. 03

   Prompts y contexto en el código fuente

   Versionados en tus repositorios junto al código, no pegados en una consola. Un prompt es una decisión de comportamiento y merece la misma revisión que cualquier otra.

4. 04

   Las limitaciones conocidas

   Dónde es débil el sistema, qué entradas maneja mal y qué se dejó fuera del alcance a propósito. Dicho con claridad, porque la alternativa es que tu equipo las redescubra una a una.

• DocumentosEjemplos de entregablesEl plan de evaluación de IA es uno de los ocho formatos, mostrado con lo que registra y el riesgo que elimina.
• ProyectoUn sistema de análisis en lenguaje naturalEl desarrollo de datos e inferencia: llevar eventos en bruto hasta una cifra sobre la que actuar sin fallar en silencio.
• ServicioSeguridad y profundidad de sistemasDonde continúa el trabajo de límites de agentes: mínimo privilegio, gestión de credenciales y el radio de impacto de un error.