Una propuesta audaz para domesticar agentes de inteligencia artificial
En medio de la creciente preocupación por la autonomía descontrolada de los sistemas de IA, dos emprendedores con experiencia en seguridad y en la industria de la IA han lanzado una iniciativa que busca ofrecer a las organizaciones una forma de validar y certificar la conducta de sus agentes inteligentes. La compañía, denominada Artificial Intelligence Underwriting Company (AIUC), se propone aplicar los principios de la ciberseguridad tradicional a los riesgos emergentes de la inteligencia artificial.
Los fundadores y su trayectoria
Rune Kvist, quien formó parte del equipo inicial de Anthropic, y Rajiv Dattani, ex‑director de operaciones de METR, un organismo dedicado a la investigación de la seguridad de la IA, unieron sus conocimientos para crear AIUC. Ambos han trabajado estrechamente con laboratorios de frontera y con clientes de alto nivel, como bancos, hospitales y gobiernos, lo que les brinda una visión clara de los requisitos que exigen los compradores de agentes de IA.
Financiamiento y respaldo del ecosistema
La startup ha recaudado 40 millones de dólares en una ronda Serie A liderada por Ribbit Capital, con la participación de First Harmonic. Anteriormente, había asegurado 15 millones en una ronda semilla respaldada por Nat Friedman, Emergence, Terrain y el cofundador de Anthropic, Ben Mann. En total, AIUC cuenta con 55 millones de dólares de inversión, lo que refleja la confianza del mercado en su modelo de negocio.
El modelo de certificación AIUC‑1
Inspirándose en el estándar de seguridad SOC 2, AIUC ha desarrollado una norma propia, AIUC‑1, que define los criterios de comportamiento seguro para los agentes de IA. Para construirla, la empresa reunió a alrededor de 250 líderes de seguridad y gestión de riesgos, quienes aportaron preguntas y requisitos que consideran críticos al adquirir un agente. Estas aportaciones dieron forma a una batería de pruebas que evalúa, entre otras cosas, la resistencia a "jailbreaks", la propensión a alucinaciones y la posibilidad de filtraciones de datos.
Un agente sometido a la evaluación pasa por aproximadamente 5 000 pruebas automatizadas, ejecutadas por otros agentes de IA, mientras que los resultados son analizados mediante algoritmos de aprendizaje automático. Finalmente, un equipo humano revisa y valida el informe, que suele ocupar cerca de 100 páginas y detalla los puntos fuertes y las vulnerabilidades detectadas.
Comparación con iniciativas previas
El enfoque de AIUC guarda similitudes con el trabajo realizado por METR, donde Dattani desempeñó un papel clave. METR se centró tradicionalmente en medir el rendimiento de los agentes, pero recientemente ha ampliado su alcance hacia la seguridad. Además, el CEO de Anthropic, Dario Amodei, ha abogado por la incorporación de evaluadores externos en los laboratorios de frontera, citando a METR como un posible modelo. AIUC, sin embargo, no busca integrarse directamente en los entornos de los clientes; su objetivo es ofrecer una evaluación independiente que ayude a las empresas a tomar decisiones informadas antes de adquirir o desplegar un agente.
Implicaciones para el futuro de la IA empresarial
Al proporcionar una certificación reconocida, AIUC pretende reducir la incertidumbre que rodea la adopción de agentes de IA avanzados. Las organizaciones podrán demostrar a sus usuarios y reguladores que los sistemas que utilizan cumplen con estándares de seguridad verificables, lo que podría acelerar la aceptación de la IA en sectores críticos. En un contexto donde los incidentes de comportamiento inesperado se multiplican, contar con una auditoría externa podría convertirse en un requisito indispensable para mantener la confianza del público y evitar consecuencias legales.
En resumen, AIUC está trazando un camino que combina la rigurosidad de la ciberseguridad con la innovación de la inteligencia artificial, ofreciendo una herramienta potencialmente decisiva para contener los riesgos de agentes descontrolados.