Premièrement l’IA signifie Premièrement la Sécurité

Acheter un vélo neuf à un enfant, et le vélo recevra toute l’attention – pas le casque brillant qui l’accompagne. Mais les parents apprécient le casque.

J’ai peur que beaucoup d’entre nous aujourd’hui soyons plus comme des enfants lorsqu’il s’agit de l’IA. Nous nous concentrons sur à quel point c’est cool et à quelle vitesse nous pouvons aller avec. Pas tant sur ce que nous pouvons faire pour rester en sécurité pendant que nous l’utilisons. C’est dommage, car vous ne pouvez pas avoir les avantages de l’un sans l’autre.

Simplement dit, appliquer l’IA sans planifier soigneusement la sécurité d’abord n’est pas seulement risqué. C’est un chemin direct vers le bas d’une falaise.

Qu’est-ce que la Sécurité de l’IA signifie-t-elle même ?

La sécurité de l’IA implique une série d’étapes. Mais peut-être l’élément le plus important est quand les prendre. Pour être efficace, la sécurité de l’IA doit être par conception.

Cela signifie que nous considérons comment prévenir les dommages avant de le prendre pour un essai. Nous déterminons comment nous assurer que l’IA fonctionne et génère des résultats conformes à nos valeurs et aux attentes sociales en premier lieu – et non après que nous obtenions des résultats horribles.

Concevoir pour la sécurité de l’IA inclut également la réflexion sur la façon de la rendre robuste, ou capable de fonctionner de manière prévisible même dans des situations défavorables. Cela signifie rendre l’IA transparente, de sorte que les décisions prises par l’IA soient compréhensibles, auditable et impartiale.

Mais cela inclut également l’examen du monde dans lequel l’IA fonctionnera. Quelles sont les garanties institutionnelles et juridiques dont nous avons besoin, en particulier pour se conformer aux réglementations gouvernementales applicables ? Et je ne peux pas insister suffisamment sur le composant humain : Quel sera l’impact de l’utilisation de l’IA sur les personnes qui interagissent avec elle ?

La sécurité par conception signifie intégrer la sécurité de l’IA dans tous nos processus, flux de travail et opérations avant de taper notre première invite.

Les Risques L’emportent sur les Préoccupations

Pas tout le monde est d’accord. Lorsqu’ils entendent “sécurité d’abord”, certains entendent “faire un pas si prudemment et lentement que vous êtes laissé pour compte”. Bien sûr, ce n’est pas ce que signifie la sécurité d’abord. Cela n’a pas à étouffer l’innovation ou ralentir le temps de mise sur le marché. Et cela ne signifie pas un flux ininterrompu de pilotes qui ne sont jamais mis à l’échelle. Tout au contraire.

Cela signifie comprendre les risques de ne pas concevoir la sécurité dans l’IA. Considérez quelques-uns.

• Deloitte’s Center for Financial Services prévoit que GenAI pourrait être responsable de pertes de fraude de 40 milliards de dollars aux États-Unis seulement d’ici 2027, contre 12,3 milliards de dollars en 2023, soit un taux de croissance composé annuel de 32 %.
• Décisions biaisées. Des cas documentent des soins médicaux biaisés en raison de l’IA qui a été formée sur des données biaisées.
• Mauvaises décisions qui inspirent plus de mauvaises décisions. Pire qu’une décision initiale mauvaise provoquée par une IA défectueuse, des études indiquent que ces décisions défectueuses peuvent devenir partie de la façon dont nous pensons et prenons des décisions à l’avenir.
• Conséquences réelles. L’IA qui donne de mauvais conseils médicaux a été responsable de résultats mortels pour les patients. Des problèmes juridiques ont résulté de la citation d’une hallucination de l’IA comme précédent juridique. Et des erreurs de logiciel résultant de l’IA qui donnait des informations erronées ont entaché les produits de l’entreprise et sa réputation et ont conduit à une insatisfaction généralisée des utilisateurs.

Et les choses sont sur le point de devenir encore plus intéressantes.

L’avènement et l’adoption rapide de l’IA agente, l’IA qui peut fonctionner de manière autonome pour prendre des décisions basées sur les décisions qu’elle a prises, magnifiera l’importance de concevoir pour la sécurité de l’IA.

Un agent IA qui peut agir en votre nom pourrait être extrêmement utile. Au lieu de vous dire quels sont les meilleurs vols pour un voyage, il pourrait les trouver et les réserver pour vous. Si vous voulez retourner un produit, l’agent IA d’une entreprise pourrait ne pas seulement vous dire la politique de retour et la façon de déposer une réclamation, mais également gérer l’ensemble de la transaction pour vous.

Super – à condition que l’agent ne fasse pas d’hallucinations sur un vol ou ne gère pas mal vos informations financières. Ou qu’il ne se trompe pas sur la politique de retour de l’entreprise et ne refuse pas les retours valides.

Il n’est pas difficile de voir comment les risques actuels de sécurité de l’IA pourraient facilement se propager avec une multitude d’agents IA prenant des décisions et agissant, en particulier puisqu’ils ne fonctionneront probablement pas seuls. Une grande partie de la valeur réelle de l’IA agente proviendra d’équipes d’agents, où les agents individuels gèrent des parties de tâches et collaborent – agent à agent – pour accomplir le travail.

Alors, comment adopter la sécurité de l’IA par conception sans entraver l’innovation et tuer sa valeur potentielle ?

Sécurité par Conception en Action

Les vérifications de sécurité ad hoc ne sont pas la réponse. Mais intégrer les pratiques de sécurité dans chaque phase d’une mise en œuvre de l’IA est.

Commencez par les données. Assurez-vous que les données sont étiquetées, annotées si nécessaire, exemptes de biais et de haute qualité. C’est particulièrement vrai pour les données de formation.

Formez vos modèles avec une rétroaction humaine, car le jugement humain est essentiel pour façonner le comportement du modèle. L’apprentissage par renforcement avec une rétroaction humaine (RLHF) et d’autres techniques similaires permettent aux annotateurs de noter et de guider les réponses, aidant les LLM à générer des sorties sûres et conformes aux valeurs humaines.

Ensuite, avant de publier un modèle, testez-le sous contrainte. Les équipes rouges qui tentent de provoquer un comportement dangereux en utilisant des invites adverses, des cas limites et des tentatives d’évasion peuvent exposer les vulnérabilités. Les corriger avant qu’elles n’atteignent le public les maintient en sécurité avant qu’il n’y ait un problème.

Alors que ce test s’assure que vos modèles d’IA sont robustes, continuez à les surveiller en gardant un œil sur les menaces émergentes et les ajustements qui pourraient être nécessaires aux modèles.

De même, surveillez régulièrement les sources de contenu et les interactions numériques pour détecter les signes de fraude. De manière critique, utilisez une approche hybride IA-humaine, en laissant l’automatisation IA gérer le volume énorme de données à surveiller, et des humains qualifiés gèrent les examens pour l’application et l’assurer l’exactitude.

L’application de l’IA agente nécessite encore plus de soin. Un besoin de base : former l’agent à connaître ses limites. Lorsqu’il rencontre de l’incertitude, des dilemmes éthiques, de nouvelles situations ou des décisions à enjeu élevé, assurez-vous qu’il sache demander de l’aide.

Concevez également la traçabilité dans vos agents. C’est particulièrement important pour que leurs interactions n’aient lieu qu’avec des utilisateurs vérifiés, pour éviter que des acteurs frauduleux n’influencent les actions d’un agent.

Si elles semblent fonctionner efficacement, il pourrait être tentant de les laisser se débrouiller et de les laisser faire leur travail. Notre expérience nous dit de continuer à les surveiller et les tâches qu’ils accomplissent pour surveiller les erreurs ou le comportement inattendu. Utilisez à la fois des vérifications automatisées et une révision humaine.

En fait, un élément essentiel de la sécurité de l’IA est l’implication humaine régulière. Les humains devraient être intentionnellement engagés là où le jugement critique, l’empathie ou la nuance et l’ambiguïté sont impliqués dans une décision ou une action.

Encore une fois, pour être clair, ce sont toutes des pratiques que vous construisez dans la mise en œuvre de l’IA à l’avance, par conception. Ils ne sont pas le résultat de quelque chose qui va mal et puis se précipiter pour déterminer comment minimiser les dégâts.

Est-ce que ça Marche ?

Nous avons appliqué une philosophie de sécurité de l’IA en premier et un cadre “par conception” avec nos clients tout au long de l’émergence de GenAI et maintenant sur la voie rapide vers l’IA agente. Nous constatons que, contrairement aux inquiétudes quant à son ralentissement, cela accélère en réalité les choses.

L’IA agente a le potentiel de réduire le coût du support client de 25 à 50 %, par exemple, tout en augmentant la satisfaction client. Mais cela dépend de la confiance.

Les humains qui utilisent l’IA doivent lui faire confiance, et les clients qui interagissent avec des agents humains dotés d’IA ou avec de véritables agents IA ne peuvent pas vivre une seule interaction qui minerait leur confiance. Une mauvaise expérience peut anéantir la confiance dans une marque.

Nous ne faisons pas confiance à ce qui n’est pas sûr. Lorsque nous intégrons la sécurité dans chaque couche de l’IA que nous sommes sur le point de déployer, nous pouvons le faire avec confiance. Et lorsque nous sommes prêts à la mettre à l’échelle, nous pouvons le faire rapidement – avec confiance.

Alors que la mise en œuvre de la sécurité de l’IA en premier lieu peut sembler écrasante, vous n’êtes pas seul. Il existe de nombreux experts pour aider et des partenaires qui peuvent partager ce qu’ils ont appris et sont en train d’apprendre afin que vous puissiez tirer parti de la valeur de l’IA en toute sécurité sans vous ralentir.

L’IA a été un voyage passionnant jusqu’à présent, et à mesure que le voyage s’accélère, je le trouve exaltant. Mais je suis également heureux de porter mon casque.