IA Federal y Militar de EE. UU.: Nueva Plataforma Ofrece Validación y Acreditación de Algoritmos

Una startup que cuenta con un consejo asesor formado por luminarias militares del gobierno ha lanzado una nueva plataforma diseñada para evaluar la seguridad y la capacidad de despliegue de aplicaciones de IA. Se dice que los primeros adoptantes del sistema incluyen a la Fuerza Aérea de EE. UU. y al Departamento de Seguridad Nacional.

La plataforma se llama VESPR, de CalypsoAI, fundada en 2018, con sede en Silicon Valley, Dublín y una ubicación oficialmente ‘no divulgada’ en Virginia, territorio de la CIA en Langley.

VESPR es un sistema de gestión de riesgos de modelos (MRM) diseñado para facilitar un sistema de acreditación compatible con la normativa federal para algoritmos desplegados. Ofrece tanto un entorno GUI estilo panel de control fácil de usar, como una interfaz CLI para usuarios avanzados.

Haga clic para ampliar.

VESPR se basa en los estándares de validación, verificación y acreditación de aprendizaje automático de CalypsoAI, y cuenta con bibliotecas de aprendizaje automático adversarial creadas a mano. También ofrece rutinas automatizadas de pruebas de estrés para algoritmos potencialmente desplegables.

Grupo de Trabajo de Recursos de Investigación de Inteligencia Artificial Nacional

El momento del lanzamiento puede estar relacionado con el anuncio de ayer por parte de la administración Biden de un nuevo Grupo de Trabajo de Recursos de Investigación de Inteligencia Artificial Nacional, un organismo creado para servir como comité asesor federal conforme a la Ley de Iniciativa Nacional de IA de 2020 del Congreso.

La presión ha ido en aumento en EE. UU. y en todo el mundo para contar con normas regulatorias significativas para los sistemas de aprendizaje automático, especialmente en áreas críticas como la infraestructura esencial y el uso militar. Dado que los sistemas de ML aún se encuentran en una fase formativa y avanzan a un ritmo rápido, representan un recurso relativamente inestable y frecuentemente controvertido del que ahora es esencial identificar algoritmos analíticos replicables y fiables, si eso resulta posible.

En abril, CalypsoAI expresó su apoyo al Endless Frontiers Act, un proyecto de ley del Congreso destinado a reformar la financiación científica ante la creciente preeminencia de China como potencia de IA, aunque la ley fue finalmente atenuada en el Senado.

Validación para IA Federal

Según el comunicado de prensa de VESPR, las áreas cubiertas por el marco incluyen visión por computadora y procesamiento de lenguaje natural (NLP).

CalypsoAI afirma que VESPR se creó ‘con aportes críticos de clientes existentes de seguridad nacional y surgió de años de investigación financiada de forma independiente sobre aprendizaje automático adversarial’.

Las imágenes del sistema vistas en un video promocional (ver al final del artículo) parecen incluir rutinas de detección y/o simulación de envenenamiento de datos e inyección de ruido, proporcionando simulaciones de las acciones de posibles atacantes contra sistemas desplegados.

Haga clic para ampliar.

El sistema parece utilizar datos históricos tanto nacionales como extranjeros. Las clases objetivo presentadas incluyen ‘Protestas’ y ‘Disturbios’, además de la menos clara ‘Desarrollos estratégicos’. Los incidentes de terrorismo nacional también parecen estar incluidos en las bases de referencia del sistema, con ‘Violencia contra civiles’ como otra clase objetivo disponible. Otras clases objetivo disponibles incluyen ‘Batallas’ y ‘Explosiones/Violencia remota’.

Haga clic para ampliar.

El sistema parece permitir la protección de características en una sección de “gestión de sesgo” de la configuración, aparentemente diseñada para combatir el sobreajuste o evitar la eliminación no deseada de eventos atípicos menores que podrían ser de interés en una rutina analítica. En el video, VESPR procesa datos históricos tabulares sobre ‘Ucrania’.

Más allá de este impulso promocional inicial, no es probable (quizás por diseño) que escuchemos mucho más sobre este producto SaaS orientado al gobierno, sea cual sea su desempeño; comparte su nombre con una franquicia de cafeterías, una aplicación de citas sociales y un álbum de streaming, y es constantemente superado en los resultados clasificados por el modelo químico VSEPR.

CalypsoAI recibió $13 millones en financiación Serie A de Paladin Capital Venture Group en julio de 2020. Otros inversores incluyeron 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners y Pallas Ventures.

En una publicación de blog en el sitio de la empresa, el fundador de CalypsoAI, Neil Serebryany, quien realizó trabajos de investigación no especificados en el Departamento de Defensa en 2018, afirma que la compañía se fundó como una posible solución al temor de los gobiernos de desplegar sistemas algorítmicos avanzados en un clima no regulado:

‘La razón principal de este miedo a los proyectos de IA, que lleva a que sean abandonados dentro del Gobierno, suena prosaica, pero en realidad es bastante compleja. Se abandonaban debido a la falta de aseguramiento de calidad […] Los modelos de IA no pueden evaluarse de la misma manera que los modelos de software tradicionales. Esto se debe a la naturaleza subyacente de la estructura del modelo y a las formas altamente complejas en que pueden fallar. Al carecer de un mecanismo para evaluar estos sistemas no deterministas de manera determinista y auditable, las organizaciones dentro del gobierno no podían valorar la supuesta ‘calidad’ de los modelos de IA frente a un punto de referencia. Esto generó el temor de que pudieran fallar, malfuncionar o ser hackeados por un adversario en el momento en que más se les necesita, por ejemplo en combate, en vuelo o durante un procedimiento médico complejo.’

Consejo Asesor

Un mes antes de la ronda de inversión, la empresa creó un Consejo Asesor de Seguridad Nacional que incluye a Tony DeMartino, ex asistente del Secretario de Defensa Jim Mattis y ahora socio fundador de la firma de asesoría estratégica con sede en Washington, Pallas Advisors; a Kari Bingen, ex Subsecretaria Principal Adjunta del Departamento de Defensa para Inteligencia (bajo la presidencia de Trump); a Sean Roche, ex Subdirector Asociado de Innovación Digital de la CIA, anteriormente especialista en ciberinteligencia en esa organización; y a Michael Molino, ex Vicepresidente Ejecutivo de desarrollo corporativo en ASRC Federal, que brinda asesoría, investigación y capacidades de migración técnica en una variedad de servicios federales críticos.

Según el comunicado:

‘VESPR brinda capacidades avanzadas de prueba de IA con un flujo de trabajo simplificado para garantizar que cada algoritmo de aprendizaje automático puesto en producción haya sido verificado como seguro. VESPR ofrece una seguridad y garantía sin precedentes a una variedad de sistemas de IA, desde visión por computadora hasta procesamiento de lenguaje natural. El proceso VESPR asegura pruebas, evaluación, verificación y validación (TEVV) a lo largo del ciclo de vida seguro del aprendizaje automático (SMLC), desde la fase de investigación y desarrollo hasta el despliegue del modelo. El resultado final son sistemas de IA que proporcionan monitoreo y reportes precisos y exhaustivos sobre las capacidades, vulnerabilidades y desempeño del modelo.’

Actualizado 11:07 AM EST para reflejar que Michael Molino ya no trabaja en ASRC Federal, una errata en el artículo original.

Actualizado 1January 28, 2024 para eliminar el video de YouTube roto.