Connect with us

El Verdadero Peligro de los Modelos de Lenguaje: Estafas Impulsadas por IA

Líderes de opinión

El Verdadero Peligro de los Modelos de Lenguaje: Estafas Impulsadas por IA

mm

Imagina esto: Estás en el trabajo, enfocado en un plazo ajustado, cuando recibes una llamada de lo que parece ser el número de teléfono de tu madre. La voz al otro lado es inconfundiblemente la suya, calmada y amorosa, pero con un matiz inusual de urgencia. Ella te dice que ha tenido problemas serios mientras está de vacaciones en París y necesita tu ayuda financiera de inmediato para resolver las cosas. Sabes que ella está en París, y los detalles que proporciona, hasta el nombre de su hotel, hacen que la llamada sea aún más convincente. Sin pensarlo dos veces, transfieres el dinero, solo para descubrir más tarde que tu madre nunca hizo esa llamada; era un sistema de IA avanzado que imitaba perfectamente su voz y fabricaba un escenario detallado. Te recorren escalofríos al darte cuenta de lo que acaba de suceder.

Este escenario, que una vez fue pura ficción científica, ahora es una realidad emergente. El amanecer de las tecnologías de IA como los grandes modelos de lenguaje (LLM) ha traído increíbles avances. Sin embargo, una amenaza significativa se cierne: las estafas impulsadas por IA. El potencial de estafas sofisticadas impulsadas por inteligencia artificial es una amenaza completamente nueva en el horizonte del progreso tecnológico. Mientras que las estafas telefónicas han sido una preocupación desde la invención del teléfono, la integración generalizada de grandes modelos de lenguaje (LLM) en todos los aspectos de la comunicación digital ha elevado las apuestas dramáticamente. A medida que abrazamos el potencial de la IA, es crucial que también fortalezcamos nuestras defensas contra estas amenazas cada vez más sofisticadas.

El Panorama Actual de las Estafas Telefónicas

Los criminales han estado intentando engañar a personas inocentes para que transfieran dinero o divulguen información sensible durante años, pero a pesar de la prevalencia de las estafas telefónicas, muchas de estas estafas son relativamente poco sofisticadas, dependiendo de operadores humanos que leen guiones. Sin embargo, incluso con esta limitación, las estafas telefónicas siguen siendo una empresa criminal lucrativa.

Según la Comisión Federal de Comercio de EE. UU., en 2022 solo, los estadounidenses perdieron más de $8.8 mil millones en fraude, con una parte significativa atribuida a estafas telefónicas, lo que significa que incluso en su forma actual, menos avanzada, muchos de estos tácticas todavía funcionan en personas vulnerables. ¿Qué sucede cuando evolucionan?

El Futuro de las Estafas Impulsadas por IA

El panorama de las estafas telefónicas está a punto de experimentar un cambio dramático con el advenimiento de varias tecnologías clave:

Grandes Modelos de Lenguaje (LLM)

Estos sistemas de IA pueden generar texto similar al humano y participar en conversaciones naturales. Cuando se aplican a las estafas, los LLM podrían crear guiones muy convincentes y adaptables, lo que hace que sea mucho más difícil para las posibles víctimas identificar la estafa.

Generación de Recuperación Mejorada (RAG)

Esta tecnología permite que los sistemas LLM accedan y utilicen vastas cantidades de información en tiempo real. Los estafadores pueden crear un perfil de una persona basado en su información pública, como sus cuentas sociales. También pueden utilizar técnicas de ingeniería social en sus amigos y familiares para recopilar información más profunda. Esto les dará acceso a información como la identidad del objetivo, información laboral o incluso actividades recientes. Luego pueden utilizar RAG para proporcionar a los LLM el contexto necesario, lo que hace que sus enfoques parezcan increíblemente personalizados y legítimos.

Generación de Audio Sintético

Plataformas como Resemble AI y Lyrebird están a la vanguardia en la creación de voces generadas por IA altamente realistas. Estas tecnologías son capaces de producir audio personalizado y similar al humano, que se puede utilizar en diversas aplicaciones, desde asistentes virtuales hasta servicio al cliente automatizado y creación de contenido. Empresas como ElevenLabs están empujando los límites aún más al permitir que los usuarios creen voces sintéticas que pueden replicar estrechamente las suyas, lo que permite un nuevo nivel de personalización y compromiso en las interacciones digitales.

Generación de Video Sintético

Empresas como Synthesia ya están demostrando el potencial para crear contenido de video realista con avatares generados por IA. En los próximos años, esta tecnología podría permitir que los estafadores imiten a amigos o figuras familiares, o creen personajes completamente ficticios para llamadas de video, introduciendo un nivel de realismo físico previamente imposible en la estafa.

Sincronización Labial de IA

Empresas emergentes como Sync Labs están desarrollando tecnología de sincronización labial avanzada que puede coincidir con el audio generado con el metraje de video. Esto podría usarse para crear videos de deep-fake muy convincentes de figuras históricas, políticos, celebridades y prácticamente todos los demás, lo que hace que la línea entre la realidad y la decepción sea aún más borrosa.

La combinación de estas tecnologías pinta un cuadro bastante preocupante. Imagina una llamada de estafa donde la IA puede adaptar su conversación en tiempo real, armada con información personal sobre el objetivo, e incluso pasar a una llamada de video con una persona aparentemente real cuyos labios se mueven en perfecta sincronía con la voz generada. El potencial de engaño es verdaderamente enorme.

La Necesidad de Medidas de Seguridad Mejoradas

A medida que estas estafas impulsadas por IA se vuelven más sofisticadas, los métodos de verificación de identidad y autenticidad tendrán que correr en paralelo con los avances de la IA. Habrá que haber avances regulatorios y tecnológicos para mantener el mundo en línea seguro.

Mejoras Regulatorias

Leyes de Privacidad de Datos más Estrictas: Implementar leyes de privacidad de datos más rigurosas restringiría la cantidad de información personal disponible para que los estafadores la exploten. Estas leyes podrían incluir requisitos más estrictos para la recopilación de datos, protocolos de consentimiento de usuario mejorados y sanciones más severas por violaciones de datos.

Nube Privada para los Modelos de IA más Potentes: Las regulaciones podrían exigir que los modelos de IA más potentes se alojen en infraestructuras de nube privadas y seguras en lugar de estar disponibles abiertamente. Esto limitaría el acceso a las tecnologías más avanzadas, lo que haría más difícil para los actores maliciosos usarlas para estafas. (por ejemplo: https://security.apple.com/blog/private-cloud-compute/)

Colaboración Internacional en Regulaciones de IA: Dada la naturaleza global de la tecnología de IA, la colaboración internacional en estándares regulatorios podría ser beneficiosa. Establecer un organismo global responsable de crear y hacer cumplir regulaciones internacionales de IA podría ayudar a abordar los delitos relacionados con la IA que cruzan fronteras.

Campañas de Concienciación Pública: Los gobiernos y los organismos regulatorios deberían invertir en campañas de concienciación pública para educar a los ciudadanos sobre los riesgos potenciales de las estafas de IA y cómo protegerse. La conciencia es un paso crucial para empoderar a las personas y organizaciones para implementar las medidas de seguridad necesarias.

Las regulaciones actuales de IA son insuficientes para prevenir estafas, y el desafío de la regulación futura se complica por la naturaleza de código abierto de muchas tecnologías poderosas. Esta apertura permite que cualquiera acceda y modifique estas tecnologías para sus propios fines. Como resultado, junto con regulaciones más estrictas, se necesitan avances en tecnologías de seguridad.

Detección de Datos Sintéticos

Detección de Audio Sintético: Mientras que los estafadores emplean IA, también deben hacerlo nuestras defensas. Empresas como Pindrop están desarrollando sistemas impulsados por IA que pueden detectar audio sintético en tiempo real durante las llamadas telefónicas. Su tecnología analiza más de 1,300 características del audio de una llamada para determinar si proviene de una persona real o de un sistema de IA sofisticado.

Detección de Video Sintético: Detección de Video Sintético: Al igual que el audio puede ser manipulado por la IA, también puede serlo el video, lo que supone amenazas significativas en forma de deep-fakes y otros contenidos de video sintéticos. Empresas como Deepware están a la vanguardia en el desarrollo de tecnologías para detectar video sintético. La plataforma de Deepware utiliza algoritmos de aprendizaje automático avanzados para analizar inconsistencias sutiles en los datos de video, como movimientos no naturales, iluminación irregular y anomalías de píxeles que a menudo están presentes en el contenido generado por IA. Al identificar estas discrepancias, la tecnología de Deepware puede determinar si un video es genuino o ha sido manipulado, lo que ayuda a proteger a las personas y organizaciones de ser engañadas por estafas y campañas de desinformación basadas en video sofisticadas.

Avances en la Autenticación de Identidad

Se están desarrollando varias formas para confirmar la identidad de un usuario y una o más de estas se convertirán en mainstream en los próximos años para hacer que Internet sea más seguro.

Autenticación de Dos Pasos para Conversaciones Remotas: La autenticación de dos factores (2FA) sigue siendo un componente fundamental de la comunicación segura. Bajo este método, cada llamada telefónica o correo electrónico desencadenaría un mensaje de texto con un código de verificación único, similar a los registros de correo electrónico actuales. Aunque la 2FA es efectiva para la autenticación básica, sus limitaciones significan que no se puede confiar en ella en todos los contextos, lo que hace necesaria el desarrollo de métodos más avanzados para garantizar la seguridad integral de Internet que pueda funcionar en segundo plano.

Autenticación de varios factores basada en comportamiento: Más allá de verificar la identidad al comienzo de una llamada, los sistemas de seguridad futuros pueden analizar continuamente el comportamiento a lo largo de una interacción. Empresas como BioCatch utilizan biometría del comportamiento para crear perfiles de usuario basados en cómo las personas interactúan con sus dispositivos. Esta tecnología puede detectar anomalías en el comportamiento que podrían indicar que un estafador está utilizando información robada, incluso si han pasado las verificaciones iniciales de autenticación.

Autenticación Basada en Biometría: Empresas como Onfido están a la vanguardia de la tecnología de verificación de identidad basada en biometría, ofreciendo herramientas de verificación de identidad impulsadas por IA que detectan deep-fakes sofisticados y otras formas de fraude de identidad. Su sistema utiliza una combinación de verificación de documentos y análisis biométrico para asegurarse de que la persona al otro extremo de una llamada o videochat sea realmente quien dice ser.

Autenticación de Conocimiento Avanzada: Más allá de las simples preguntas de seguridad, los sistemas de autenticación futuros pueden incorporar preguntas generadas por IA de manera dinámica basadas en la huella digital de un usuario y sus actividades recientes. Por ejemplo, Prove, una empresa especializada en identidad centrada en el teléfono, está desarrollando soluciones que aprovechan la inteligencia del teléfono y el análisis de comportamiento para verificar identidades. Su tecnología puede analizar patrones en cómo una persona utiliza su dispositivo para crear una “firma de identidad” única que es significativamente más difícil para los estafadores replicar.

Autenticación de Verificación de Identidad Basada en Blockchain: La tecnología blockchain ofrece un método descentralizado y a prueba de manipulaciones para la verificación de identidad. Empresas como Civic están pioneras en sistemas de verificación de identidad basados en blockchain que permiten a los usuarios controlar su información personal mientras proporcionan autenticación segura. Estos sistemas crean un registro verificable e inmutable de la identidad de una persona, ideal para gestionar transacciones de alto riesgo.

Conclusión

La convergencia de LLM, RAG, generación de audio sintético, generación de video sintético y tecnología de sincronización labial es algo así como una espada de doble filo. Mientras que estos avances tienen un potencial enorme para aplicaciones positivas, también plantean riesgos significativos cuando son utilizados por estafadores.

Esta carrera armamentista en curso entre expertos en seguridad y ciberdelincuentes subraya la necesidad de innovación y vigilancia constantes en el campo de la seguridad digital. Solo podemos aprovechar los beneficios de estas poderosas herramientas mientras mitigamos su potencial para causar daño si reconocemos y nos preparamos para estos riesgos.

La regulación integral, la educación sobre estas nuevas formas de estafas, la inversión en medidas de seguridad de vanguardia y, quizás lo más importante, una saludable dosis de escepticismo de cada uno de nosotros cuando interactuamos con entidades desconocidas en línea o por teléfono serán esenciales para navegar este nuevo panorama.

Rishab Mehra es el CTO y co-fundador de Pinnacle, una startup de inteligencia artificial disruptiva en el espacio de Rendimiento Mental. Con una sólida formación en visión por computadora y aprendizaje automático, Rishab aporta una gran experiencia en el campo de la inteligencia artificial.

Rishab's carrera incluye una amplia investigación en visión por computadora para la atención médica en la Universidad de Stanford bajo la guía de la reconocida experta en inteligencia artificial Fei-Fei Li. Su trabajo ha sido publicado en revistas prestigiosas como Nature y NeurIPS. Antes de fundar Pinnacle, Rishab dirigió el desarrollo de características para Apple Intelligence y On-device Machine Learning en Apple, donde presentó más de 20 patentes.

Un graduado de Stanford con un título de Honor en Ciencias de la Computación, Rishab ha recaudado con éxito una ronda de financiación pre-semilla para Pinnacle Intelligence.