Chester Leung, Co-Fundador y Jefe de Plataforma de Inteligencia Artificial en OPAQUE – Serie de Entrevistas

Chester Leung es Co-Fundador y Jefe de Arquitectura de Plataforma en OPAQUE, una startup de Serie A que está construyendo la plataforma de datos confidenciales y de inteligencia artificial que permite a los equipos extender sus pipelines de datos empresariales con una capa confidencial, lo que permite obtener conocimientos más rápidos con menos esfuerzo y privacidad y control verificables.

Anteriormente, Chester fue estudiante de posgrado en ciencias de la computación en la Universidad de California, Berkeley, donde publicó artículos revisados por pares en conferencias de alto nivel y también se desempeñó como mantenedor principal del proyecto de código abierto MC2 para análisis y aprendizaje automático colaborativos seguros.

Usted co-fundó Opaque después de su tiempo en RISELab de la Universidad de California, Berkeley, donde su trabajo combinó la inteligencia artificial y los sistemas seguros. ¿Qué brecha específica en la infraestructura de datos empresariales vio que llevó a la creación de OPAQUE, y cómo su experiencia académica informó la dirección de la empresa?

En ese momento, había un enfoque enorme, tanto en la academia como en la industria, en aprovechar el aprendizaje automático para casos de uso específicos. En el laboratorio, tuvimos la gran suerte de tener patrocinadores empresariales que nos ayudaron a los investigadores a dar forma a nuestro trabajo para resolver problemas más apremiantes que estaban enfrentando dentro de sus organizaciones. Nuestro grupo, en particular, tuvo una oportunidad única de trabajar en estrecha colaboración con empresas de tecnología y servicios financieros, bancarios y de seguros (BFSI), colaborando para resolver problemas difíciles de privacidad alrededor del uso de datos sensibles pero valiosos para el aprendizaje automático. Al igual que todas las áreas de la inteligencia artificial, el aprendizaje automático depende de grandes cantidades de datos de alta calidad para producir conocimientos valiosos y robustos.

Nos encontramos con el mismo patrón una y otra vez mientras colaborábamos con equipos de empresas como Amazon (AMZN ), Scotiabank y Ant Group (entonces Ant Financial): sus proyectos impulsados por el aprendizaje automático se estancaron antes de llegar a la producción debido a preocupaciones sobre el uso de datos sensibles pero críticos para estos casos de uso. En otras palabras, estos equipos no pudieron utilizar la inteligencia artificial en proyectos que sabían que podrían generar valor para la empresa, no porque hubiera un problema técnico con la inteligencia artificial, sino porque no podían acceder a los datos adecuados.

En Opaque, hemos estado resolviendo un problema idéntico. Ayudando a los equipos a acceder a los datos adecuados, lo que les permite desbloquear o mejorar sus capacidades de inteligencia artificial. El único cambio desde nuestros días de investigación ha sido la urgencia del problema: ahora estamos viendo consistentemente que la adopción y la integración de la inteligencia artificial, que continúan siendo un imperativo estratégico a nivel empresarial, están bloqueadas por el acceso a los datos adecuados.

En un panorama en el que las empresas están invirtiendo mucho en modelos de razonamiento y inteligencia artificial agente, ¿por qué cree que las canalizaciones de datos seguras son más importantes que nunca?

Las canalizaciones de datos seguras son la columna vertebral sobre la cual las empresas construyen modelos de razonamiento y inteligencia artificial agente. Todo, desde la capacitación de estos modelos de razonamiento hasta la implementación de la inteligencia artificial agente, implica datos sensibles y depende de canalizaciones de datos seguras.

Por ejemplo, ahora estamos viendo como industria una mayor inversión en la generación de datos de alta calidad para capacitar estos modelos. Algunos informes incluso han predicho que la inversión en computación para la generación de datos de alta calidad pronto será mayor que la inversión en la capacitación de los modelos en sí. Por supuesto, la generación de datos es un proceso de múltiples pasos impulsado por canalizaciones que producen la propiedad intelectual más valiosa de una empresa: datos de dominio específico de alta calidad que pueden capacitar modelos que generen un valor inmenso aguas abajo. La inversión en la generación de estos datos es enorme, y los datos generados, dados sus orígenes, efectivamente distinguen a una empresa de sus competidores, sirviendo como su foso. Una empresa debe hacer todo lo posible para mantener segura esta canalización.

La plataforma de computación confidencial de OPAQUE permite análisis sobre datos cifrados. ¿Cuáles son los desafíos técnicos clave para hacer que esto sea escalable y amigable para los desarrolladores en entornos empresariales?

Nuestra plataforma de inteligencia artificial confidencial no solo permite análisis, aprendizaje automático y generación de inteligencia artificial sobre datos cifrados, sino que también proporciona una prueba verificable de que sus datos se utilizaron de las formas que solo usted espera y permite.

Los desafíos, con la escalabilidad, el desarrollo y la administración, radican en hacer que la orquestación de la carga de trabajo sea segura y verificable a escala. En particular, muchas empresas hoy en día utilizan servicios de nube administrados cuando necesitan escalar. Esto puede ser rentable y conveniente. Sin embargo, un subconjunto del software que impulsa los servicios de nube administrados está inherentemente, bien, administrado por el proveedor de nube. Entonces, el desafío se convierte en: ¿cómo puede una organización asegurar y verificar el software que no está bajo su control? Si la organización toma el control de todo el software, ¿qué tiene que dar a cambio de no utilizar un servicio administrado, y qué pierde al hacerlo?

Ha dicho que la arquitectura segura por diseño puede proporcionar una ventaja competitiva duradera. ¿Puede explicar cómo se aplica este principio en la práctica para los equipos de inteligencia artificial empresarial?

Hay dos ángulos desde los cuales ver esto: un ángulo de producto y un ángulo de ingeniería.

Desde un ángulo de producto, todos entienden que sus datos son radiactivos, su foso o ambos. Las empresas están volviéndose cada vez más maduras en su evaluación de la privacidad de los datos, la seguridad y la soberanía de las soluciones. En consecuencia, cualquier equipo que construya cualquier producto que procese datos empresariales debe proporcionar garantías de que los datos procesados solo son visibles y utilizados por partes y entidades autorizadas. Una arquitectura segura por diseño proporciona la confianza de que la privacidad de los datos, la seguridad y la soberanía fueron consideraciones de primera clase en el diseño del producto, y permite que el producto proporcione estas garantías explícitamente.

Desde un ángulo de ingeniería, una arquitectura segura por diseño es más extensible y resistente al futuro. Los equipos legales, de riesgo y de cumplimiento están volviéndose cada vez más estrictos en respuesta a nuevos riesgos y regulaciones. Por lo tanto, las organizaciones de ingeniería deben querer construir un sistema de inteligencia artificial empresarial seguro desde el principio para que no tengan que volver a arquitectura y/o parchear su sistema una vez que se den cuenta de que su sistema existente es insuficientemente seguro y resistente al riesgo. Tener que volver a arquitectura y parchear cuesta meses, si no años, de valiosa banda ancha de ingeniería.

¿Cómo deben replantear las organizaciones el papel de los datos, más allá de un recurso, como una trinchera defensible a medida que evolucionan los sistemas de inteligencia artificial autónomos?

Hay un consenso creciente en la industria de que los datos pronto pueden ser la única trinchera que tenga una organización. Hemos estado viendo investigación y talento de ingeniería, y las tecnologías y productos brillantes que construyen, saltar de organización en organización. Como resultado, numerosas organizaciones pueden ofrecer los mismos productos, respaldados por las mismas tecnologías.

Lo que no puede transferirse fácilmente de una organización a otra, sin embargo, es el conjunto de datos de una organización, a menos que se filtre. Además, es exactamente ese conjunto de datos lo que puede hacer que un producto sea más atractivo que sus competidores: más personalizado, adaptado y específico del dominio. Las organizaciones deben hacer todo lo posible para asegurar sus datos, lo que les permite aprovechar sus datos como la ventaja competitiva.

¿Cómo se ve una canalización de inteligencia artificial resistente en la práctica, y cómo ayuda a las empresas a evitar costos o riesgos ocultos a medida que escalan sus despliegues de inteligencia artificial?

Una canalización de inteligencia artificial resistente es aquella que es confiable, tolerante a fallos, pero lo más importante, verificablemente segura de extremo a extremo. Antes del procesamiento, las empresas deben verificar tanto los datos que se introducen en la canalización como la canalización en sí, para asegurarse de que no haya posibilidad de que la canalización malgaste los datos. Durante el procesamiento, la canalización de inteligencia artificial debe ser a prueba de manipulaciones, para asegurarse de que nadie pueda robar ningún dato que esté procesando o sesgar las ideas que proporciona. Después del procesamiento, la canalización de inteligencia artificial debe ser verificablemente auditada, para que un equipo pueda observar y explicar la toma de decisiones y la trayectoria de la canalización de inteligencia artificial, y para que un equipo pueda ver qué salió mal cuando algo sale mal.

Es imperativo considerar cómo una canalización de inteligencia artificial insegura o defectuosa podría filtrar los datos de una organización o su modelo de propiedad, y las implicaciones que tiene para los factores de diferenciación de una empresa o su reputación. Lo que es más importante, sin embargo, es esto: a medida que las empresas escalan su despliegue de inteligencia artificial en casos de uso más críticos e impactantes, el riesgo de una canalización de inteligencia artificial insegura e inexplicable crece exponencialmente. En un mundo en el que las decisiones de préstamos y las decisiones de contratación ya están aumentadas por la inteligencia artificial, y afectan todo, desde las finanzas personales hasta las carreras, un error intencional o no intencional en una canalización de inteligencia artificial podría tener un efecto dramático en la vida de un individuo.

Muchas empresas se centran en la precisión del modelo o la latencia. ¿Qué están pasando por alto en cuanto a la integridad de los datos y el riesgo operacional a largo plazo?

Mientras que muchas empresas se centran en el modelo o la tecnología de inteligencia artificial, siempre he creído que los datos son el cuello de botella fundamental para implementar inteligencia artificial que genere valor.

Tener un modelo que genera una respuesta precisa con gran rapidez sobre un tema que el usuario final no se preocupa genera cero valor. Para construir un producto único y atractivo, las empresas deben asegurarse de que sus modelos, y los productos que impulsan, estén capacitados con datos de alta calidad y relevantes. Los problemas de higiene de los datos que resultan de una falta de datos de entrada de alta calidad pueden no surgir hasta meses después.

En segundo lugar, hemos encontrado que las empresas en general no tienen una buena historia para detectar el desplazamiento de los datos, la contaminación o el escape, lo que pone en peligro la integridad del modelo. Esto está estrechamente relacionado con mi primer punto, y aunque es más una solución reactiva, hace que la evaluación y la observabilidad sean aún más importantes.

OPAQUE se integra en las pilas de nube existentes. ¿Qué ha aprendido sobre equilibrar la facilidad de adopción con garantías de seguridad sólidas en despliegues empresariales?

Hemos pasado casi una década, desde nuestros días de investigación, resolviendo este problema. La seguridad probada de los sistemas de inteligencia artificial, especialmente en un entorno empresarial, es un problema muy difícil. Requiere sistemas, seguridad, criptografía y experiencia en inteligencia artificial. Como resultado, la mayoría de los sistemas que hemos encontrado no han sido fundamentalmente seguros, porque la seguridad es tan difícil de implementar.

En Opaque, hemos construido un producto que es lo mejor de ambos mundos: inherentemente y verificablemente seguro desde el principio, pero fácilmente desplegable a través de los mercados de nube y lo suficientemente flexible como para integrarse en nuevas y existentes aplicaciones de inteligencia artificial.

¿Qué tipo de amenazas o vulnerabilidades están surgiendo alrededor de las canalizaciones de inteligencia artificial y el intercambio de datos que los líderes empresariales pueden no apreciar completamente?

Lo que hemos estado viendo en esta fiebre del oro de la inteligencia artificial agente es una urgencia ciega hacia la implementación de agentes de inteligencia artificial que interactúan con varios sistemas de registro. Si bien estos agentes pueden proporcionar valor, también plantean riesgos enormes porque tocan tantos sistemas con datos valiosos. Los agentes son inherentemente no deterministas, y hemos visto innumerables instancias en las que se van y hacen algo que no esperamos. En un mundo en el que sus datos son su única trinchera, los líderes empresariales siempre deben cuestionar si pueden confiar y depender de agentes de inteligencia artificial que tienen acceso a todos sus datos para no malgastarlos accidentalmente o intencionalmente.

¿Cómo ve la interacción entre la infraestructura de datos seguros, la rendición de cuentas del modelo y el cumplimiento a medida que la regulación de la inteligencia artificial se desarrolla a nivel mundial en los próximos años?

La infraestructura de datos seguros verificable permite la rendición de cuentas del modelo y del agente. En particular, sin una prueba verificable de la toma de decisiones o el uso de herramientas del agente o del modelo, no podemos estar seguros de nada, por lo que no podremos rastrear la rendición de cuentas. A medida que la inteligencia artificial se integra cada vez más en nuestra vida diaria, querremos más explicabilidad y observabilidad en la inteligencia artificial. Sin embargo, cuando la inteligencia artificial puede operar a velocidad de máquina, y nosotros no podemos, una inteligencia artificial maliciosa puede engañarnos fácilmente construyendo historias falsas. Necesitamos verificabilidad para responsabilizar a la inteligencia artificial.

Para mí, el cumplimiento regulatorio es muy reactivo. El desarrollo y la aprobación de las regulaciones se mueven mucho más lentamente que la innovación tecnológica. Esto será cada vez más cierto a medida que la inteligencia artificial nos ayude a aumentar nuestro ritmo de innovación. Aunque el cumplimiento eventualmente impulsará a los rezagados a adoptar infraestructura de datos seguros, los adoptadores tempranos y la mayoría temprana reconocen que es fundamental para la seguridad de la inteligencia artificial, y lo adoptarán mucho antes de que el cumplimiento lo haga obligatorio. Entienden que la rendición de cuentas del agente, habilitada por la infraestructura de datos seguros, es fundamental para la adopción de sus propios productos impulsados por la inteligencia artificial.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar OPAQUE.