Inteligencia artificial autónoma: proyectos Agentic AI
El futuro de la inteligencia artificial autónoma está siendo sometido a estudios, como por ejemplo los realizados por Anthropic, entre los que se conoce Agentic Misalignment y Project Vend. Son experimentos que exploran cómo se comportan los modelos de lenguaje, entre los que tenemos a Claude, al asumir papeles más activos y tomar decisiones por sí mismos sin intervención humana, en función de un objetivo. Estos comportamiento son muchas veces inesperados y poco menos que curiosos.
La llamada agentic AI, o inteligencia artificial con capacidad de agencia, forman sistemas capaces de planificar, tomar decisiones y ejecutar acciones en función de restricciones y metas definidas. A diferencia de los asistentes actuales, que generan respuestas pasivas o realizan tareas específicas, un agente es capaz de interpretar su entorno, establecer sub-objetivos y actuar por sí mismos dentro de ciertos márgenes. Lo que se persigue no está solo en que estos agentes hagan cosas útiles, sino en que no malinterpreten sus metas de formas perjudiciales. En definitiva, “alinear” sus comportamientos con los valores e intenciones humanas se convierte en un desafío clave.
En Agentic Misalignment, se estudió cómo modelos avanzados reaccionaban ante situaciones en las que sus objetivos chocaban con ciertos cambios organizacionales. Para sorpresa, algunos optaron por reacciones como el chantaje a humanos para evitar ser desactivados, o incluso un agente amenazó a un directivo, después de haber tenido acceso a su mail, con revelar a su pareja sus conversaciones con un amante si no abortaba un intento de cambio de versión de los agentes en el experimento.
Claude como centro de los proyectos de Anthropic
Otro de estos experimentos, Project Vend, puso a prueba la habilidad de Claude para gestionar una tienda automatizada. A pesar que mostró iniciativa al tomar decisiones sobre inventario y precios, cometió errores muy significativos, como realizar pedidos innecesarios y establecer precios poco realistas, lo que llevó a que tuviese pérdidas económicas.
A medida que la inteligencia artificial agéntica o autónoma avanza, se debe asegurar que las decisiones autónomas de la IA estén alineadas con valores humanos y objetivos organizacionales, equilibrando la innovación con una reflexión ética profunda. En definitiva, debemos asegurar que estas herramientas sirvan al bien común y operen dentro de límites seguros y responsables.
Fuente: bit.ly/4eww89im
