Les grands modèles de langage (LLM) et d’autres formes d’IA générative peuvent atteindre des niveaux de performance remarquablement proches de ceux des êtres humains pour des tâches basées sur les textes ou les images. Ils passent, en effet, haut la main le test de Turing, dans lequel une conversation par messagerie instantanée permet de juger l’intelligence de l’interlocuteur. Dans leurs plus mauvais jours, les LLM produisent des résultats qui ressemblent à s’y méprendre à ceux d’un humain. Lorsqu’ils fonctionnent bien, ils seraient presque des surhommes. Un bon nombre d’entreprises cherchent à déterminer quelles tâches seraient les mieux adaptées à l’IA, et comment intégrer l’IA générative aux workflows concernés.
D’après le texte de Hicks, Humphries et Slater, ChatGPT is bullshit, les LLM présentent exactement les mêmes caractéristiques que les experts en « baratin ». Le philosophe Harry Frankfurt définit ce terme dans son livre L’Art de dire des conneries qui consiste à faire des déclarations visant à convaincre, sans pour autant se préoccuper de leur véracité. Ainsi, un baratineur dira ce qu’il juge nécessaire pour atteindre son objectif — peu lui importe que ce soit vrai ou faux. En fait, il ne se soucie probablement même pas de savoir si ce qu’il dit est intrinsèquement cohérent. Les LLM ont parfois ce que l’on appelle des « hallucinations », auquel cas ce qu’ils avancent est tout simplement faux.
Pour certains partisans de l’IA, les améliorations futures permettront de réduire ou d’éliminer ce problème, mais ils ne comprennent pas vraiment le mode de fonctionnement des LLM et risquent de mal conseiller les utilisateurs sur les applications possibles. Malgré le succès surprenant des LLM, il est essentiel de savoir que leur fonctionnement repose sur des statistiques et non sur la vérité absolue.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Improvisation permanente
La plupart du temps, les « statistiques fictives » des LLM semblent correctes (ou se présentent comme des faits), simplement parce qu’elles coïncident avec la réalité telle que le monde contemporain l’entend. Mais il ne faut pas oublier que les utilisateurs de ces outils sont en mesure de remettre en question les propos avancés, alors que LLM en sont inaptes. En effet, les Hommes sont en mesure de réfléchir et de comparer la production des LLM à un modèle de vérité générale, lorsque les affirmations coïncident, alors tout va bien. En revanche, dans le cas contraire, elles peuvent laisser perplexes et sont alors appelées « hallucinations ». Toutefois, le LLM n’y voit aucune différence. Le transformateur sous-jacent ne fait aucune distinction entre une hallucination ou une réalité. C’est en partie pour cette raison qu’il est difficile d’éliminer les hallucinations et que tout porte à croire qu’il est impossible de les supprimer.
De toute évidence, les LLM ne sont pas une panacée, mais ils ne sont pas inutiles non plus. Finalement, leur utilité est plutôt étrange et peu familière, c’est pourquoi il est nécessaire de se demander : quelles tâches pourraient être confiées à un tel baratineur ?
En théorie, cela semble assez simple, mais dans la pratique, c’est plus difficile. Bien que certains métiers demandent une certaine dose de « baratin », c’est une des premières fois où les utilisateurs le conçoivent comme essentiel et ayant un avantage potentiel. Envisager une entité artificielle qui, une partie du temps mais sans en connaître les proportions, inventera, est une démarche totalement inédite. Ainsi, employer un LLM pour des tâches stratégiques, où des erreurs et malentendus peuvent avoir de graves conséquences, n’est pas encouragé.
LLM et cybersécurité
L’utilité des LLM dans le domaine de la cybersécurité a fait couler beaucoup d’encre. En général, les outsiders aiment l’idée que de nouveaux outils d’IA œuvrent en coulisse, sur des interactions non humaines. Il est évident également que ce secteur est actuellement sous le feu des projecteurs, avec une reconnaissance générale de l’urgence des défis à relever. Mais est-il utile d’intégrer un baratineur dans l’équipe ?
D’un côté, l’utilisation des LLM se limite à des situations où le texte généré n’est en réalité qu’une présentation d’informations dont la fiabilité a déjà été vérifiée. Cependant, par rapport aux capacités des LLM, cette démarche peut paraître décevante. Un conservatisme présente toutefois l’avantage non négligeable que le niveau de « baratin » dont est capable un LLM n’empêchera personne de dormir. De plus, les LLM et l’IA sont deux choses différentes, et cette dernière peut très bien se passer des grands modèles de langage pour fonctionner et aider les équipes en charge de la cybersécurité dans leurs tâches
Des instruments d’attaque et de défense
Dans le premier scénario, la première question consiste à se demander s’il est possible que des experts ès baratin de grand calibre et extrêmement doués s’attaquent à des entreprises. Ce risque semble considérable, par exemple, dans le cas de l’ingénierie sociale, dans lequel quelque chose de plausible mais également de faux peut être efficacement exploité pour une attaque. De même, des LLM pourraient se révéler très efficaces pour corrompre des données, introduire de l’incertitude et interférer avec les processus métier. Les données générées par LLM seraient susceptibles en effet d’être suffisamment crédibles pour ne pas être nécessairement détectées lors de simples contrôles, et sans être forcément utiles ou cohérentes.
En parallèle, la présence de baratineurs chevronnés dans l’équipe pourrait permettre de disposer de nouvelles défenses. En d’autres termes, les LLM de l’équipe de défense permettent-ils de contrer efficacement les systèmes de LLM déployés par les attaquants ? La réponse semble être non. De manière générale, les LLM sont capables de générer du « baratin », mais pas de le détecter – sans quoi il serait possible de gérer le problème en associant les LLM par paires, l’un produisant des sorties candidates et l’autre destiné à détecter la présence de « baratin » dans ces sorties. Ainsi, l’utilisation de LLM baratineurs en tant que moyens de défense ressemble à une variante de leurres (« honeypots »). Les équipes pourraient créer de façon dynamique des versions de données ou de processus apparemment plausibles, mais en réalité erronées de plusieurs façons différentes, en mettant en place une sorte de filigrane. Cependant, tout ce qui est suffisamment efficace pour tromper un attaquant risque également, quoiqu’involontairement, de semer la confusion au sein de l’entreprise.
Les LLM comme cibles
Un LLM représente-t-il une nouvelle faille de sécurité ? C’est le seul domaine dans lequel il semble y avoir de bonnes nouvelles. En effet, si un LLM est intégré à un processus métier en gardant la possibilité de « baratin » à l’esprit, il n’est guère certain qu’un attaquant qui corromprait ce LLM provoquerait des dommages supplémentaires. Si les systèmes et les processus ont été conçus pour y intégrer les baratineurs, il est fort probable qu’ils soient également suffisamment robustes pour lutter contre d’éventuelles attaques lancées contre les LLM proprement dits.
Dans le meilleur des mondes des LLM, il convient à la fois de se demander comment exploiter au mieux cette capacité et de s’inquiéter de ses implications pour la sécurité. Jusqu’à présent, les responsables n’avaient généralement pas à s’interroger « sur les postes qui pouvaient être confiés à un excellent baratineur ». Mais cette question, ou une autre du même ordre, semble aujourd’hui essentielle pour savoir comment exploiter au mieux les grands modèles de langage.