Connect with us

Líderes de opinión

Por qué prohibir la IA aumenta los riesgos de seguridad y cómo deben responder las instituciones

mm

En todo Estados Unidos, los distritos escolares y las organizaciones del sector público están moviéndose para restringir o bloquear el acceso a tecnologías de IA generativa (GenAI) o herramientas específicas. En Colorado, el distrito escolar de Boulder Valley recientemente prohibió ChatGPT en las redes del distrito, citando preocupaciones sobre el uso indebido, la seguridad y la integridad académica.

El instinto de reducir la exposición a incidentes de seguridad o mal uso de datos es comprensible. Las plataformas con guardias débiles o compromisos de privacidad poco claros, como DeepSeek, merecen restricciones y escrutinio. Pero prohibir el acceso a herramientas de GenAI no reduce significativamente el riesgo; a menudo solo lo desplaza a entornos donde la supervisión desaparece.

Una encuesta de College Board encontró que el 84% de los estudiantes de secundaria informaron que usaban GenAI para trabajos escolares, incluso cuando el 45% de los directores informaron al menos algunas restricciones sobre el acceso a la IA en la escuela. De manera similar, un informe de IBM encontró que el 80% de los trabajadores de oficina usan IA, pero solo el 22% se basa exclusivamente en herramientas proporcionadas por el empleador.

Las políticas de acceso por sí solas no determinan el comportamiento. Los estudiantes pueden sacar sus teléfonos y usar cualquier herramienta de IA a través de su red de datos celulares, o usar la plataforma mientras están en casa o en Wi-Fi pública. También pueden usar VPN, escritorios remotos y complementos para evadir restricciones. Los empleados pueden hacer lo mismo para evitar los controles en el lugar de trabajo.

Las organizaciones deben asumir que cuando hay una voluntad de usar IA, hay una forma. Cuando la tecnología se limita de una manera que empuja el uso más allá de la visibilidad institucional, el riesgo de IA sombra se incrementa. No hay supervisión sobre qué información se ingresa en las solicitudes o qué datos se retienen por el modelo. Cualquier control sobre la seguridad se va inmediatamente.

Más allá del riesgo de IA sombra, las prohibiciones crean una brecha de alfabetización, dejando a los estudiantes completamente desprevenidos para usar la tecnología que será una gran parte de su futuro. Estas herramientas están cada vez más integradas en motores de búsqueda, plataformas comerciales, suites de productividad y dispositivos personales. Una encuesta de Pew Research encontró que el 62% de los adultos estadounidenses dicen que interactúan con IA al menos varias veces a la semana. Está prácticamente garantizado que los estudiantes y empleados encontrarán sistemas de GenAI independientemente de las políticas institucionales.

En este entorno, la educación es el salvaguardia más confiable contra las preocupaciones sobre el mal uso o la seguridad, y para asegurarse de que los estudiantes y los trabajadores estén bien preparados para usar una herramienta que será integral para sus carreras. Enseñar un uso responsable y ético equipa a los usuarios para reconocer los riesgos de datos y tomar decisiones informadas dondequiera que encuentren estos sistemas.

Los programas de educación deben centrarse en cómo los grandes modelos de lenguaje (LLM) procesan y retienen datos, cómo identificar alucinaciones, cómo verificar las salidas generadas por IA, y cómo identificar campañas de phishing y imágenes generadas por IA, por nombrar algunas. Enseñe a los usuarios a ser escépticos. Las salidas de IA a menudo se presentan con confianza y en lenguaje pulido, lo que puede crear una ilusión de autoridad. Sin capacitación, los usuarios pueden asumir que una respuesta bien formateada es inherentemente precisa.

La capacidad de cuestionar el contenido digital es una defensa de primera línea a medida que los deepfakes y las campañas de phishing mejoradas por IA se vuelven más sofisticados. Una encuesta de Gartner encontró que el 62% de las organizaciones experimentaron un ataque de deepfake el año pasado, y el 32% enfrentó un ataque en aplicaciones de IA. La frecuencia y el alcance de estos incidentes solo se espera que sigan aumentando.

Las instituciones del sector público, como las escuelas y los gobiernos locales, están particularmente expuestas a la ingeniería social habilitada por deepfakes porque gran parte de su actividad se registra y está disponible públicamente. Los fragmentos de audio de reuniones públicas se pueden manipular y usar para generar llamadas de voz convincentes. Hemos visto a actores de amenazas usar esto para fraude, como redirigir fondos durante transacciones sensibles. Si bien esto sucede con más frecuencia en casos dirigidos, los usuarios que nunca han sido capacitados para reconocer estas técnicas, o incluso saber que son posibles, están en desventaja desde el principio.

Después de la educación, las organizaciones deben tener políticas claras y comunicadas sobre el uso y la gobernanza de la IA. Estas deben definir herramientas aprobadas, casos de uso aceptables y qué datos se pueden y no se pueden ingresar en qué modelo(s). Las políticas deben aplicarse consistentemente en todos los departamentos en lugar de variar de aula en aula o de oficina en oficina. Las expectativas claras reducen la ambigüedad y refuerzan la rendición de cuentas.

En lugar de restricciones generales, las organizaciones deben buscar dar forma a cómo se utiliza la tecnología en la práctica. Cuando una organización respalda una herramienta que es accesible, segura y funciona bien, se convierte en el valor predeterminado para la mayoría de los usuarios. El uso de IA sombra casual disminuye porque hay una alternativa sencilla que no incluye descargar una VPN para usarla.

Las organizaciones y las instituciones están buscando proporcionar un acceso seguro a los LLM en una forma en que sus datos estén seguros y no se compartan ni se utilicen para capacitación. Una categoría creciente de herramientas de habilitación y seguridad de IA está surgiendo para hacer exactamente eso. Pueden proporcionar acceso a varios LLM mientras mantienen los datos de la institución de forma segura y contenida. Los acuerdos de retención de datos cero proporcionan el marco legal para garantizar que los datos de la organización permanezcan como propiedad de la empresa o institución, y que el LLM no pueda capacitarse en ellos. Además, si un empleado abandona la institución, cualquier uso de IA, flujos de trabajo o datos permanece como propiedad de la organización.

Los guardrails técnicos también se pueden aplicar a nivel de función. Una institución podría permitir que los estudiantes o empleados hagan preguntas generales dentro de un LLM sancionado mientras deshabilita la carga de archivos, el intercambio de documentos u otras capacidades de alto riesgo. Estas configuraciones preservan los beneficios de productividad sin abrir la puerta a una exposición de datos no controlada.

Herramientas más avanzadas pueden anonimizar automáticamente la información sensible antes de que llegue siquiera al modelo. Por ejemplo, reemplazando los nombres de los pacientes o identificadores con marcadores de posición neutrales para que los médicos y las enfermeras puedan usar GenAI sin exponer datos protegidos. Otros integran controles de prevención de pérdida de datos que detectan y bloquean números de seguro social, datos de cuentas financieras u otra información regulada que se envía en las solicitudes.

Las políticas claras con guardrails técnicos, construidas sobre una base de educación, crean la mejor defensa, especialmente a medida que la tecnología cambia tan rápidamente. La GenAI está evolucionando más rápido de lo que la mayoría de las organizaciones del sector público, y sus presupuestos, pueden adaptarse. Intentar bloquear cada nuevo modelo a medida que emerge es insostenible porque, para cuando se restringe una plataforma, otra ha ganado tracción. Los usuarios capacitados para comprender los riesgos subyacentes pueden adaptarse en todas las herramientas y versiones.

La seguridad en un entorno habilitado por IA depende de reconocer la realidad de que la GenAI ahora está integrada en la vida diaria. No hay forma de volver a meter al genio en la botella. Las prohibiciones generales pueden señalarizar la precaución, pero a menudo comercian un riesgo visible y manejable por una exposición invisible y no gestionada. Enseñe a una persona a usar la IA de manera responsable, y estará preparada para lo que venga a continuación.

Christopher Morton sirve como Logically’s Director de Información, liderando sus equipos de IT Ops, Desarrollo de Productos Técnicos, Centro de Operaciones de Red y Servicios en la Nube. Se unió al equipo de Logically a través de la adquisición de The Network Support Company en 2021, donde había servido como CTO. Morton comenzó su carrera con The Network Support Company en 2005 y fue fundamental para ayudar a lanzar, administrar y hacer crecer sus ofertas de servicios administrados.