Lo que no se puede seguir, no se puede gobernar

Montamos un agente de IA cuyo único trabajo era dirigir y dar criterio a los demás. Funcionó. Y aun así lo descartamos.
A medida que los agentes de IA asumen trabajo más complejo dentro de los procesos de una empresa, el factor limitante no es la tecnología, sino la gobernanza.
La IA toma "buenas" decisiones, entendiéndose por buenas las decisiones lógicas y correctamente fundamentadas que se alinean con el propósito de lo que se está haciendo.
Pero esto no es suficiente, porque lo que falta es el criterio.
El agente no infiere la cultura de la empresa. Cultura en un sentido amplio, tal como la experimentamos las personas. Ni puede destilar el contexto de la forma que lo hacemos nosotros.
Y aquí nos enfrentamos al verdadero cuello de botella: según se avanza en la integración de agentes en las tareas de un equipo, cada vez más autónomos, cada vez más solventes -daría para mucho hablar de esto-, hacer seguimiento de cada tarea y cada decisión no solo es ineficiente, sino inviable.
La respuesta es formalizar el criterio, definir correctamente el marco de gobernanza, concretar las directrices y definir procesos de una forma que no hacíamos hasta ahora.
Cuando nos enfrentamos a esto en Kocoro, planteamos una vía que nos pareció interesante: Crear un agente de dirección que tuviera expresamente la función de aportar criterio al trabajo del resto de los agentes. Centralizar las instrucciones sobre uno solo que mantuviera viva y presente la brújula que marca el criterio en la toma de decisiones que se presentan inevitablemente cada día en el trabajo.
El resto de agentes debían reportar a esta "directora" que les acompañaría y marcaría el rumbo de su elección de opciones.
Adicionalmente, cada agente tiene en su sistema un método de extraer aprendizajes a partir de las interacciones que tiene y las indicaciones que recibe del equipo, o de la "directora de IA". Esto vive en su contexto persistente, de modo que siempre lo tienen presente.
Tenía sentido. Pero sucedió algo que no habíamos previsto.
Las interacciones entre agentes son aún más complicadas de seguir y controlar que el seguimiento del trabajo de cada uno.
Las conversaciones entre los agentes y la directora (vía Discord, como el resto del equipo) se convirtieron en un mar insondable para cualquiera de nosotros.
Aun pudiendo funcionar esta idea, que lo hacía en la mayoría de ocasiones y, de hecho, mejoraba objetivamente el trabajo que estaban haciendo, no fue un camino válido.
Nuestro siguiente paso en la gobernanza sí está dando con las teclas adecuadas.
Entendimos que lo que no se puede seguir, no se puede gobernar.