« Une étape majeure dans l'histoire de la science » : un chercheur affirme avoir percé le secret des IA

Les agents d'intelligence artificielle jouent un rôle central dans l'évolution des nouveaux modèles technologiques. Leur autonomie croissante leur permet de planifier et d'exécuter des tâches complexes afin d'atteindre des objectifs spécifiques. Cependant, cette autonomie pose une question cruciale : comment garantir qu'une IA accomplit exactement ce qui lui est demandé, sans dévier de son but ?

Depuis plusieurs années, les chercheurs s'efforcent de percer les mystères des modèles d'intelligence artificielle générative, souvent qualifiés de "boîtes noires" en raison de l'impossibilité de comprendre leur fonctionnement interne. Bien que l'on puisse déduire certaines règles en analysant les entrées et les sorties — c'est-à-dire les requêtes et les réponses — il est également possible d'examiner les neurones individuels des réseaux de neurones artificiels.

Ces modèles reposent sur diverses architectures telles que les réseaux antagonistes génératifs (GAN), les réseaux de neurones récurrents (RNN), les transformeurs et les réseaux de neurones convolutifs (CNN). Les neurones en eux-mêmes ne sont pas des éléments physiques, mais plutôt des fonctions mathématiques. Cependant, leur rôle précis dans le réseau neuronal demeure en grande partie obscur.

Nick Cammarata, un chercheur de la startup Goodfire AI et ancien collaborateur d'OpenAI, a publié un article approfondi d'environ 26 000 mots dans lequel il expose ses découvertes concernant le fonctionnement des neurones. Selon lui, cette avancée pourrait ouvrir la voie à une meilleure compréhension des grands modèles de langage.

Un des défis majeurs rencontrés par les chercheurs est que certains neurones s'activent souvent pour des concepts apparemment sans rapport. Cammarata cite l'exemple d'un chat et d'une voiture. Pour expliquer ce phénomène, les chercheurs évoquent la notion de superposition, selon laquelle, lorsque le réseau neuronal manque de neurones, il regroupe des éléments disparates, créant ainsi des neurones polysémiques. Ces neurones peuvent alors représenter des concepts suffisamment éloignés pour ne pas se mélanger, ce qui permet leur activation simultanée.

En revanche, Cammarata propose une autre explication. Selon lui, le chat et la voiture pourraient partager un trait commun : la forme en V présente à la fois dans le visage du chat et à l'avant de la voiture. Ce concept serait à l'origine de l'activation du neurone. En effet, ce neurone ne s'activerait pas pour des objets ronds, comme une balle ou un escargot. Cette découverte est qualifiée par Cammarata de "généralisation récursive".

Les médias rapportent souvent des mises en garde sur les dangers potentiels des IA, notamment à travers des interviews alarmantes de personnalités comme Geoffrey Hinton, surnommé "le père de l'IA". Hinton partage des préoccupations similaires quant à l'avenir de l'humanité face à ces technologies.

La compréhension améliorée des neurones pourrait potentiellement résoudre le problème de l'alignement des IA. En identifiant les raisons pour lesquelles le comportement des IA diffère de nos attentes, il serait possible de mieux encadrer ces modèles. "Nous sommes désormais capables de comprendre la plupart des neurones dans des modèles comptant plusieurs milliers de milliards de paramètres, et nous croyons que les perspectives d'interprétabilité mécaniste pourraient être bien meilleures que prévu", conclut Cammarata.

Cette publication a suscité des réactions variées au sein de la communauté des spécialistes de l'intelligence artificielle. Sam Altman, président d'OpenAI, a exprimé son enthousiasme, tandis que Tarun Gogineni, également d'OpenAI, a qualifié ce travail d'"étape majeure dans l'histoire de la science". En revanche, certaines critiques ont émergé. Des experts soulignent que même si la généralisation récursive est un phénomène valide, elle n'exclut pas l'existence de la superposition.

Neel Nanda de Google DeepMind a déclaré : "C'est un travail intéressant, mais je ne pense pas que cela change fondamentalement la donne." Il a ajouté que même si l'on comprend le fonctionnement de chaque neurone, prévoir le comportement d'un réseau complet reste aussi complexe que de prévoir la météo à partir des mouvements des atomes.

Pour l'heure, ces résultats n'ont pas encore été validés par d'autres chercheurs. Néanmoins, étant donné que cette approche pourrait avoir des implications significatives pour la sécurité de l'IA, elle sera certainement examinée de près par de nombreux experts dans le domaine. L'avenir nous dira si ces découvertes mèneront à des avancées concrètes dans la compréhension et la gestion des intelligences artificielles.