Anand Kannappan, CEO y Co-fundador de Patronus AI – Serie de Entrevistas

Anand Kannappan es Co-fundador y CEO de Patronus AI, la primera plataforma automatizada de evaluación y seguridad de AI para ayudar a las empresas a detectar errores de LLM a gran escala. Anteriormente, Anand lideró los esfuerzos de explicabilidad de ML y experimentación avanzada en Meta Reality Labs.

¿Qué te atrajo inicialmente a la informática?

Al crecer, siempre me fascinó la tecnología y cómo se podía utilizar para resolver problemas del mundo real. La idea de poder crear algo desde cero utilizando solo una computadora y código me intrigaba. A medida que me sumergí más en la informática, me di cuenta del inmenso potencial que tiene para la innovación y la transformación en diversas industrias. Esta fuerza para innovar y hacer una diferencia es lo que me atrajo inicialmente a la informática.

¿Podrías compartir la historia de la creación de Patronus AI?

La creación de Patronus AI es un viaje interesante. Cuando OpenAI lanzó ChatGPT, se convirtió en el producto de consumo más rápido en crecimiento, con más de 100 millones de usuarios en solo dos meses. Esta adopción masiva destacó el potencial de la IA generativa, pero también puso de relieve la hesitación de las empresas para implementar la IA a un ritmo tan rápido. Muchas empresas estaban preocupadas por los posibles errores y comportamientos impredecibles de los grandes modelos de lenguaje (LLM).

Rebecca y yo nos conocemos desde hace años, después de estudiar informática juntos en la Universidad de Chicago. En Meta, ambos enfrentamos desafíos en la evaluación y la interpretación de los resultados de aprendizaje automático – Rebecca desde una perspectiva de investigación y yo desde una perspectiva aplicada. Cuando se anunció ChatGPT, ambos vimos el potencial transformador de los LLM, pero también entendimos la cautela que ejercían las empresas.

El punto de inflexión llegó cuando el banco de inversión de mi hermano, Piper Sandler, decidió prohibir el acceso a OpenAI internamente. Esto nos hizo darnos cuenta de que, aunque la IA había avanzado significativamente, todavía había una brecha en la adopción empresarial debido a preocupaciones sobre la confiabilidad y la seguridad. Fundamos Patronus AI para abordar esta brecha y aumentar la confianza empresarial en la IA generativa al proporcionar una capa de evaluación y seguridad para los LLM.

¿Puedes describir la funcionalidad principal de la plataforma de Patronus AI para evaluar y proteger los LLM?

Nuestra misión es mejorar la confianza empresarial en la IA generativa. Hemos desarrollado la primera plataforma automatizada de evaluación y seguridad específicamente para LLM. Nuestra plataforma ayuda a las empresas a detectar errores en los resultados de los LLM a gran escala, lo que les permite implementar productos de IA de manera segura y con confianza.

Nuestra plataforma automatiza varios procesos clave:

• Puntuación: Evaluamos el rendimiento del modelo en escenarios del mundo real, centrándonos en criterios importantes como alucinaciones y seguridad.
• Generación de pruebas: Generamos automáticamente suites de pruebas adversarias a gran escala para evaluar rigurosamente las capacidades del modelo.
• Benchmarking: Comparamos diferentes modelos para ayudar a los clientes a identificar el mejor ajuste para sus casos de uso específicos.

Las empresas prefieren evaluaciones frecuentes para adaptarse a modelos, datos y necesidades de los usuarios en constante evolución. Nuestra plataforma actúa como un evaluador de confianza de terceros, brindando una perspectiva imparcial similar a la de Moody’s en el espacio de la IA. Nuestros socios iniciales incluyen empresas de IA líderes como MongoDB (MDB ), Databricks, Cohere y Nomic AI, y estamos en conversaciones con varias empresas de alto perfil en industrias tradicionales para pilotar nuestra plataforma.

¿Qué tipos de errores o “alucinaciones” detecta el modelo Lynx de Patronus AI en los resultados de los LLM, y cómo aborda estos problemas para las empresas?

Los LLM son herramientas poderosas, pero su naturaleza probabilística los hace propensos a “alucinaciones”, o errores donde el modelo genera información inexacta o irrelevante. Estas alucinaciones son problemáticas, particularmente en entornos empresariales de alto riesgo donde la precisión es crítica.

Traditionally, las empresas han confiado en la inspección manual para evaluar los resultados de los LLM, un proceso que no solo es tedioso sino también inscalable. Para agilizar esto, Patronus AI desarrolló Lynx, un modelo especializado que mejora la capacidad de nuestra plataforma al automatizar la detección de alucinaciones. Lynx, integrado en nuestra plataforma, proporciona una cobertura de prueba integral y garantías de rendimiento sólidas, centrándose en la identificación de errores críticos que podrían afectar significativamente las operaciones comerciales, como cálculos financieros incorrectos o errores en la revisión de documentos legales.

Con Lynx, mitigamos las limitaciones de la evaluación manual a través de pruebas adversarias automatizadas, explorando un amplio espectro de posibles escenarios de falla. Esto permite la detección de problemas que podrían eludir a los evaluadores humanos, ofreciendo a las empresas una mayor confiabilidad y la confianza para implementar LLM en aplicaciones críticas.

FinanceBench se describe como el primer benchmark para evaluar el rendimiento de los LLM en preguntas financieras. ¿Qué desafíos en el sector financiero motivaron el desarrollo de FinanceBench?

FinanceBench se desarrolló en respuesta a los desafíos únicos que enfrenta el sector financiero al adoptar LLM. Las aplicaciones financieras requieren un alto grado de precisión y confiabilidad, ya que los errores pueden generar pérdidas financieras significativas o problemas regulatorios. A pesar de la promesa de los LLM para manejar grandes volúmenes de datos financieros, nuestra investigación mostró que los modelos de vanguardia como GPT-4 y Llama 2 luchaban con preguntas financieras, a menudo fallando al recuperar información precisa.

FinanceBench se creó como un benchmark integral para evaluar el rendimiento de los LLM en contextos financieros. Incluye 10,000 pares de preguntas y respuestas basados en documentos financieros públicos, cubriendo áreas como razonamiento numérico, recuperación de información, razonamiento lógico y conocimiento del mundo. Al proporcionar este benchmark, apuntamos a ayudar a las empresas a comprender mejor las limitaciones de los modelos actuales e identificar áreas de mejora.

Nuestro análisis inicial reveló que muchos LLM fallan al cumplir con los altos estándares requeridos para aplicaciones financieras, destacando la necesidad de un mayor perfeccionamiento y evaluación dirigida. Con FinanceBench, estamos brindando una herramienta valiosa para que las empresas evalúen y mejoren el rendimiento de los LLM en el sector financiero.

Su investigación destacó que los modelos de IA líderes, particularmente GPT-4 de OpenAI, generaron contenido con derechos de autor a tasas significativas cuando se les proporcionaron fragmentos de libros populares. ¿Qué cree que son las implicaciones a largo plazo de estos hallazgos para el desarrollo de la IA y la industria tecnológica en general, especialmente considerando los debates en curso sobre la IA y la ley de derechos de autor?

El problema de que los modelos de IA generen contenido con derechos de autor es una preocupación compleja y apremiante en la industria de la IA. Nuestra investigación mostró que los modelos como GPT-4, cuando se les proporcionan fragmentos de libros populares, a menudo reproducen material con derechos de autor. Esto plantea importantes preguntas sobre los derechos de propiedad intelectual y las implicaciones legales del uso de contenido generado por IA.

A largo plazo, estos hallazgos subrayan la necesidad de directrices y regulaciones más claras sobre la IA y los derechos de autor. La industria debe trabajar hacia el desarrollo de modelos de IA que respeten los derechos de propiedad intelectual mientras mantienen sus capacidades creativas. Esto podría involucrar el perfeccionamiento de los conjuntos de datos de entrenamiento para excluir material con derechos de autor, a menos que se obtengan las licencias adecuadas. Además, abordar los prejuicios y la equidad es crucial. Al trabajar activamente para identificar y mitigar los prejuicios, y al desarrollar datos de entrenamiento diversos y representativos, los desarrolladores pueden reducir los prejuicios y garantizar resultados justos para todos los usuarios.

La industria tecnológica en general necesita involucrarse en discusiones continuas con expertos legales, formuladores de políticas y partes interesadas para establecer un marco que equilibre la innovación con el respeto a las leyes existentes. A medida que la IA continúa evolucionando, es crucial abordar estos desafíos de manera proactiva para garantizar un desarrollo de IA responsable y ético.

Dado el ritmo alarmante al que los LLM de vanguardia reproducen contenido con derechos de autor, como se evidencia en su estudio, ¿qué pasos cree que los desarrolladores de IA y la industria en general deben tomar para abordar estas preocupaciones? Además, ¿cómo planea Patronus AI contribuir a la creación de modelos de IA más responsables y conformes con la ley en vista de estos hallazgos?

Abordar el problema de que los modelos de IA generen contenido con derechos de autor requiere un enfoque multifacético. Los desarrolladores de IA y la industria en general deben priorizar la transparencia y la rendición de cuentas en el desarrollo de modelos de IA. Esto incluye:

• Mejora de la selección de datos: Asegurarse de que los conjuntos de datos de entrenamiento se curan cuidadosamente para evitar material con derechos de autor, a menos que se obtengan las licencias adecuadas.
• Desarrollo de mecanismos de detección: Implementar sistemas que puedan identificar cuándo un modelo de IA está generando contenido potencialmente con derechos de autor y proporcionar a los usuarios opciones para modificar o eliminar dicho contenido.
• Establecimiento de estándares de la industria: Colaborar con expertos legales y partes interesadas de la industria para crear directrices y estándares para el desarrollo de IA que respeten los derechos de propiedad intelectual.

En Patronus AI, estamos comprometidos a contribuir al desarrollo responsable de IA centrándonos en la evaluación y el cumplimiento. Nuestra plataforma incluye productos como EnterprisePII, que ayudan a las empresas a detectar y gestionar posibles problemas de privacidad en los resultados de la IA. Al proporcionar estas soluciones, apuntamos a empoderar a las empresas para que utilicen la IA de manera responsable y ética, minimizando los riesgos legales.

Con herramientas como EnterprisePII y FinanceBench, ¿qué cambios anticipa en la forma en que las empresas implementan la IA, particularmente en áreas sensibles como las finanzas y los datos personales?

Estas herramientas proporcionan a las empresas la capacidad de evaluar y gestionar los resultados de la IA de manera más efectiva, particularmente en áreas sensibles como las finanzas y los datos personales.

En el sector financiero, FinanceBench permite a las empresas evaluar el rendimiento de los LLM con un alto grado de precisión, asegurando que los modelos cumplan con los requisitos estrictos de las aplicaciones financieras. Esto permite a las empresas aprovechar la IA para tareas como el análisis de datos y la toma de decisiones con mayor confianza y confiabilidad.

De manera similar, herramientas como EnterprisePII ayudan a las empresas a navegar las complejidades de la privacidad de los datos. Al proporcionar información sobre posibles riesgos y ofrecer soluciones para mitigarlos, estas herramientas permiten a las empresas implementar la IA de manera más segura y responsable.

En general, estas herramientas están sentando las bases para un enfoque más informado y estratégico para la adopción de la IA, ayudando a las empresas a aprovechar los beneficios de la IA mientras minimizan los riesgos asociados.

¿Cómo trabaja Patronus AI con las empresas para integrar estas herramientas en sus despliegues de LLM existentes y flujos de trabajo?

En Patronus AI, entendemos la importancia de una integración sin problemas al adoptar la IA. Trabajamos en estrecha colaboración con nuestros clientes para asegurarnos de que nuestras herramientas se incorporen fácilmente en sus despliegues de LLM y flujos de trabajo existentes. Esto incluye proporcionar a los clientes:

• Plan de integración personalizado: Colaboramos con cada cliente para desarrollar un plan de integración personalizado que se ajuste a sus necesidades y objetivos específicos.
• Soporte integral: Nuestro equipo proporciona un soporte continuo durante el proceso de integración, ofreciendo orientación y asistencia para garantizar una transición fluida.
• Capacitación y educación: Ofrecemos sesiones de capacitación y recursos educativos para ayudar a los clientes a comprender y utilizar al máximo nuestras herramientas, empoderándolos para aprovechar al máximo sus inversiones en IA.

Considerando las complejidades de garantizar que los resultados de la IA sean seguros, precisos y conformes con diversas leyes, ¿qué consejo ofrecería tanto a los desarrolladores de LLM como a las empresas que buscan utilizarlos?

Al priorizar la colaboración y el soporte, apuntamos a hacer que el proceso de integración sea lo más sencillo y eficiente posible, permitiendo a las empresas desbloquear todo el potencial de nuestras soluciones de IA.

Las complejidades de garantizar que los resultados de la IA sean seguros, precisos y conformes con diversas leyes plantean desafíos significativos. Para los desarrolladores de LLM, la clave es priorizar la transparencia y la rendición de cuentas en todo el proceso de desarrollo.

Uno de los aspectos fundamentales es la calidad de los datos. Los desarrolladores deben asegurarse de que los conjuntos de datos de entrenamiento estén bien curados y libres de material con derechos de autor, a menos que se obtengan las licencias adecuadas. Esto no solo ayuda a prevenir posibles problemas legales, sino que también garantiza que la IA genere resultados confiables. Además, abordar los prejuicios y la equidad es crucial. Al trabajar activamente para identificar y mitigar los prejuicios, y al desarrollar datos de entrenamiento diversos y representativos, los desarrolladores pueden reducir los prejuicios y garantizar resultados justos para todos los usuarios.

Los procedimientos de evaluación robustos son esenciales. Implementar pruebas rigurosas y utilizar benchmarks como FinanceBench puede ayudar a evaluar el rendimiento y la confiabilidad de los modelos de IA, asegurando que cumplan con los requisitos de casos de uso específicos. Además, las consideraciones éticas deben estar en el primer plano. Al involucrarse con marcos y directrices éticas, se garantiza que los sistemas de IA se desarrollen de manera responsable y se alineen con los valores de la sociedad.

Para las empresas que buscan aprovechar los LLM, es crucial comprender las capacidades de la IA. Es importante establecer expectativas realistas y asegurarse de que la IA se utilice de manera efectiva dentro de la organización. La integración y el soporte sin problemas también son vitales. Al trabajar con socios de confianza, las empresas pueden integrar soluciones de IA en sus flujos de trabajo existentes y asegurarse de que sus equipos estén capacitados y apoyados para aprovechar al máximo la IA.

La conformidad y la seguridad deben priorizarse, centrándose en cumplir con las regulaciones y leyes de protección de datos relevantes. Herramientas como EnterprisePII pueden ayudar a monitorear y gestionar posibles riesgos. La supervisión continua y la evaluación regular del rendimiento de la IA también son necesarias para mantener la precisión y la confiabilidad, permitiendo ajustes según sea necesario.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Patronus AI.