Le développement de grands modèles de langage1 tels que ChatGPT (Generative Pre-trained Transformer) d’OpenAI et Mistral AI, suscite l’intérêt de la communauté scientifique, notamment pour leur usage et leur intégration dans la recherche. Le champ des études parlementaires constitue, lui, un terrain particulièrement fertile pour évaluer le potentiel des grands modèles de langage pour l’analyse de textes. En effet, son objet d’étude – le Parlement – produit une vaste quantité de données (débats, scrutins, amendements, lois, procédures, etc.) explorée par les spécialistes2. Les LLMs offrent des possibilités en matière d’automatisation de la collecte de données parlementaires massives, qu’elles proviennent de vidéos, d’enregistrements audio ou de discours retranscrits, tout en simplifiant leur catégorisation et en permettant des analyses textuelles approfondies. Des modèles entraînés pourraient également combler les données partielles ou manquantes, en reconstituant par exemple des débats historiques. Enfin, certains modèles pourraient renforcer les expériences en études parlementaires, notamment dans la modélisation de comportements, puisqu’ils permettent de simuler des réponses similaires à celles de l’humain3.

Si les LLMs ont le potentiel d’élargir les travaux et la profondeur des analyses en sciences sociales4, leur intégration en études parlementaires doit être envisagée avec prudence. En effet, le champ s’appuie sur une gamme de méthodes quantitatives (analyse de contenu, expériences) et qualitatives (entretiens et questionnaires) pouvant tirer parti des capacités offertes par les LLMs, mais exige une réflexion sur leurs implications méthodologiques et éthiques. Par ailleurs, les systèmes d’IA rejoignent déjà les capacités humaines dans plusieurs domaines, tels que la reconnaissance vocale, d’image et d’écriture manuscrite, ou encore la compréhension du langage, et tendent à y parvenir dans d’autres (raisonnement prédictif et tests de connaissances générales5). Dans ce contexte, le développement des grands modèles de langage interroge le devenir du champ des études parlementaires et de leurs spécialistes : assiste-t-on à un tournant méthodologique ? Autrement dit, la puissance des modèles d’IA questionne le chercheur sur son propre rôle, sur la nature de son travail ainsi que sur la fiabilité des résultats face aux potentiels biais et hallucinations de ce type de modèle.

Cet article explore l’intégration des grands modèles de langage comme nouvel outil méthodologique en études parlementaires.
Nous présenterons d’abord un panorama des fonctions existantes et potentielles de l’IA à usage général dans l’étude des parlements (I). Nous constaterons l’intégration concrète des outils d’IA au sein des assemblées parlementaires (A), nous ferons également un état des lieux des usages potentiels de l’IA dans l’étude des parlements (B). À ce titre, nous notons que notre revue de littérature est marquée par une prédominance des publications en langue anglaise. Nous l’expliquons en partie par l’influence des legislative studies6, où l’analyse de contenu – une méthode pour laquelle les LLMs présentent le plus grand potentiel – est particulièrement présente, ainsi que par la prépondérance des publications en anglais concernant les LLMs. Ce phénomène pourrait être attribué aux pratiques et incitations universitaires qui encouragent la publication en anglais pour atteindre un public plus large7.

Dans la section suivante (II), nous illustrerons les capacités des LLMs avec la prédiction de l’orientation idéologique des députés français lors des débats à l’Assemblée nationale sur la réforme des retraites et de la loi immigration en 2023 à l’aide de ChatGPT-4 d’OpenAI. Cet exemple permettra de mettre en lumière le potentiel analytique (A) et les limites des modèles de langage dans l’étude des comportements législatifs. Enfin, nous évoquerons plus largement les implications méthodologiques et éthiques de l’usage des outils d’IA en études parlementaires (B).

I. Panorama des usages existants et potentiels des modèles d’IA

Après avoir présenté les enjeux de l’intégration des modèles d’IA en études parlementaires, il convient maintenant d’explorer les usages existants et potentiels dans le champ, aussi bien en méthodes quantitatives qu’en méthodes qualitatives.

A. L’intégration concrète des outils d’IA au sein des assemblées parlementaires

Les outils d’intelligence artificielle sont déjà intégrés dans la réalité parlementaire, que ce soit pour des usages électoraux ou législatifs. Par exemple, l’IA générative permet de réduire les coûts de mobilisation militante8, et présente des résultats prometteurs en matière de persuasion des électeurs9. Dans les parlements, plus de 200 utilisations potentielles de l’IA sont recensées10 et certains services parlementaires développent déjà des outils d’IA11. Ceux-ci peuvent faciliter le classement de grandes quantités de données, ainsi que contribuer au travail de légistique, comme en France avec LLaMandement, développé par le ministère de l’Économie et des Finances12. D’autres outils aident à la transcription et à la traduction des débats, comme le système STAAR13 au Portugal, ou à l’accompagnement dans le cadre des consultations publiques, comme au Brésil avec un modèle d’analyse de l’opinion publique sur les lois14.

B. Les usages potentiels des outils d’IA en études parlementaires

Cette section propose un panorama des applications des modèles de langage comme outil méthodologique en études parlementaires. Il s’agit d’explorer le potentiel dans l’analyse de contenu, notamment pour étudier le contenu des débats, dans la réalisation de grilles d’entretien et de questionnaires, ainsi que pour la transcription d’archives historiques et la conception d’expériences en études parlementaires.

1. Le principal potentiel des LLMs : l’analyse de contenu

La vaste quantité de données produites par les assemblées législatives (scrutins, amendements, comptes rendus de séances, rapports, etc.) a longtemps été peu exploitée par les chercheurs en raison de la difficulté de les compiler dans des formats utilisables et de l’absence de méthode d’analyse de contenu approprié15. Ainsi, les principales études des comportements parlementaires étaient limitées à l’analyse des scrutins nominaux. Cette approche a pourtant été utile pour comprendre notamment la cohésion16 et l’unité partisane17, ainsi que la discipline des députés18, même si elle est limitée par la disponibilité des données de vote19. Bien que le cas français présente le principe de publicité des votes en séance publique20, le vote à main levée est la procédure la plus courante à l’Assemblée nationale, rendant la capture de la plupart des positions plus difficile, car elles ne sont ni enregistrées ni publiées au Journal officiel.

Le développement rapide de la science des données a fait évoluer la discipline vers l’analyse de contenu, fondée sur l’approche text as data21, notamment afin de combler les lacunes relatives aux données sur les votes individuels. Les débats parlementaires sont donc devenus une source importante dans la recherche en science sociale, particulièrement pour cartographier les arguments et les controverses ainsi que pour comprendre les rôles au sein des assemblées22. Si l’approche lexicométrique a été davantage employée pour observer les rôles dans le cas hexagonal23, la littérature anglophone a davantage exploré les préférences et l’idéologie des députés24, les enjeux et les saillances des sujets des agendas parlementaires25, ainsi que la qualité de la représentation des intérêts des électeurs – également appelée représentation substantive, par exemple en ce qui concerne le genre26 – à travers l’analyse de contenu.

Les travaux ont ainsi rapidement intégré les techniques computationnelles et de l’apprentissage automatique pour analyser les positions idéologiques27. L’une des méthodes utilisées est le « plongement lexical » (word embeddings), qui transforme les mots en ensembles de nombres (vecteurs) pour représenter les discours législatifs. Cette technique permet de regrouper des mots ayant des significations proches, facilitant notamment l’analyse des discours des députés au fil du temps, comme c’est le cas avec l’algorithme Word2vec28. Récemment, des travaux ont employé des modèles plus complexes, de type transformer (tels que BERT et plus récemment RoBERTa29 ou ChatGPT)30, pour déterminer les positions idéologiques des députés dans le contexte des débats. Ces modèles permettent une compréhension plus fine du langage en regroupant les mots en séquences, offrant ainsi une représentation plus dynamique que les vecteurs de mots. Une étude récente analysant la rhétorique émotionnelle lors des débats à l’Assemblée nationale entre 2007 et 2024 illustre les capacités de ChatGPT-4 à identifier les émotions et la polarisation dans les discours durant cette période31.

Ces modèles d’apprentissage profond se distinguent par leur grande adaptabilité, leur capacité à contextualiser et à raisonner tout en traitant rapidement de vastes quantités de données, particulièrement dans leurs versions les plus performantes. L’utilisation de ces systèmes pour analyser le comportement législatif est très prometteuse, notamment parce qu’ils n’ont pas nécessairement besoin de préalablement « connaître » les députés pour comprendre l’orientation idéologique de leurs discours32. Ce positionnement peut en effet être calculé en fonction du vocabulaire utilisé, certains mots étant plus susceptibles d’être associés sur le plan sémantique aux idéologies de gauche ou de droite. Pour résumer, les LLMs ouvrent la voie à des analyses de plus grande ampleur, tant dans le temps que dans les quantités de données exploitées33, et présentant des estimations comparables à celles de spécialistes34.

2. Améliorer les entretiens et questionnaires aux députés

Les préférences, les attitudes ainsi que le travail des parlementaires sont aussi explorés en profondeur à l’aide d’entretiens et de questionnaires35.

Les LLMs peuvent aider à la conception et à l’élaboration des guides d’entretien et des questionnaires (par exemple, formulation plus claire et neutre). Certains modèles sont capables de produire des messages de type humain et il est envisageable de simuler des entretiens grâce aux modèles préentraînés, à la lumière des travaux de Ken Kato et al.36, qui ont réussi à créer des discours de députés japonais. D’autres modèles open source comme Whisper AI facilitent la transcription et pourraient aider dans le codage qualitatif des entretiens, par exemple pour la catégorisation et l’interprétation de ce type de données37.

Néanmoins, le recours à ces outils présente des limites. Par exemple, la confidentialité des entretiens peut être compromise si les LLMs dépendent de serveurs externes. Par ailleurs, certains modèles peuvent reproduire les biais socioculturels issus de leurs données d’entraînement38, que l’on pourrait retrouver en cas de production de discours parlementaires. Enfin, sans précautions de la part des chercheurs, il y a un risque de distorsions dans l’interprétation des propos des parlementaires ou dans la formulation non neutre dans un questionnaire administré.

3. Élargir l’exploration de données

Les LLMs offrent également des possibilités pour accéder à de nouvelles sources de données, notamment les archives. La numérisation des sources gouvernementales a permis aux historiens du parlementarisme de capturer numériquement une quantité non négligeable d’archives39, consolidant les données primaires. Par ailleurs, de nouveaux usages émergent avec la reconnaissance de l’écriture manuscrite (handwritten text recognition – HTR). Cette technique, capable de reproduire un texte traitable par machine à partir d’images de manuscrits historiques, assure des résultats intéressants et certains logiciels comme Transkribus sont devenus plébiscités par la communauté des chercheurs40. Les plus récents grands modèles de langage sont aussi très prometteurs dans ce domaine, en réduisant considérablement les taux d’erreurs de retranscription d’archives manuscrites comparativement aux outils de HTR conventionnels41. D’autres modèles, entraînés sur des corpus historiques42, offrent des perspectives intéressantes afin de contextualiser et de mieux comprendre certains documents légaux. Enfin, leur capacité à analyser des contenus multimodaux, incluant images, vidéos et audios, renforce leur potentiel pour étudier des données qui, jusqu’à présent, étaient difficiles à traiter. L’étude récente de Marie Puren et al.43 illustre bien comment l’utilisation du traitement naturel du langage sur les débats à la Chambre des députés en France, au xix^e siècle, peut enrichir l’analyse de ces archives, en facilitant l’accès et l’exploration de ces données complexes. En résumé, l’utilisation de ces modèles constitue un terrain fertile pour mener des analyses sur le temps long, pour comparer tant les époques que les cas et différents types de contenu.

Comme souvent, l’absence de données constitue l’une des principales limites pour l’analyse des parlements. Par exemple, certaines assemblées législatives provinciales canadiennes ne disposent de retranscriptions de leurs débats que depuis la seconde moitié du xx^e siècle44. Ainsi, grâce aux techniques permettant de retracer la structure discursive des débats parlementaires existants45 (émotions, arguments) et à des modèles entraînés avec des données existantes sur les parlementaires (genre, circonscription, parti politique, etc.), il serait possible non seulement de retracer la position des parlementaires, mais aussi de générer le discours type selon le contexte (période parlementaire, texte travaillé, position vis-à-vis du gouvernement, scrutins). La reconstitution de ce type de débats permettrait un suivi dynamique de l’évolution des idées, aidant à identifier des tendances dans les discours parlementaires dans le temps. Elle ouvrirait également la voie à l’exploration expérimentale de différents scénarios parlementaires alternatifs plausibles par le passé.

4. Modéliser les comportements parlementaires

Dans cette perspective, les LLMs peuvent également être utiles dans les méthodes expérimentales en études parlementaires. Les expériences sont devenues une méthode d’enquête importante en science politique à la fin du xx^e siècle46, et l’étude des parlements n’y fait pas exception47. Ainsi, les modèles de langage préentraînés pourraient modéliser des scénarios complexes en simulant des interactions entre les parlementaires, en matière de comportement de vote, selon les coalitions parlementaires ou encore selon les changements formels (par exemple, changement de procédures) ou politiques au sein des assemblées législatives. Bien que des cadres analytiques fondés sur des modèles informatiques existent déjà48, ils sont souvent limités par leur simplicité et leur manque de réalisme. Les LLMs ouvrent ainsi la voie à des comportements beaucoup plus sophistiqués, permettant de tester diverses théories, hypothèses et scénarios contre-factuel, dans un environnement simulé qui ne nécessite pas l’intervention des législateurs. En effet, les LLMs pourraient mener à la création de simulations complexes et réalistes, dans lesquelles des agents conversationnels d’IA seraient amenés à évoluer dans une interface de type bac à sable49. Dans de tels scénarios, il serait possible de peupler une assemblée de députés virtuels en leur attribuant une biographie, des objectifs législatifs, une identité politique et un ensemble de règles de fonctionnement. On pourrait alors observer, par exemple, leur comportement législatif en faisant varier certaines caractéristiques structurelles ou partisanes, telles que les règles de procédure, la taille de leur groupe parlementaire ou la cohésion partisane. Ces simulations ne remplaceraient évidemment pas la réalité, mais elles pourraient offrir un environnement expérimental synthétique permettant de tester des prédictions théoriques à un coût relativement faible pour les chercheurs50.

II. Illustration et limites éthiques de l’intégration des outils d’IA

Après avoir exploré le potentiel des grands modèles de langage, nous faisons une démonstration de leur usage pour la prédiction idéologique et du vote des députés français, au sujet de la réforme des retraites et de la loi immigration en 2023. Malgré des résultats prometteurs, nous aborderons les limites de l’utilisation de l’IA en études parlementaires.

A. Exemple d’utilisation d’un LLM pour estimer l’idéologie des députés français

L’utilisation de grands modèles de langage, comme ChatGPT, peut s’avérer simple ’et rapide pour effectuer des analyses. Nous en faisons l’illustration en mobilisant ChatGPT-4 pour estimer l’idéologie des présidents des groupes parlementaires51 lors des débats sur la réforme des retraites de 202352 et sur la loi immigration de décembre 202353. Ces exemples constituent deux moments cristallisants lors des débats à l’Assemblée nationale et ont montré les fractures idéologiques tant entre les blocs qu’au sein de ceux-ci. Après avoir collecté54 et anonymisé55 les interventions des députés, nous les avons soumises à ChatGPT-4 en lui demandant de donner un score idéologique sur une échelle gauche-droite unidimensionnelle de 100 points56, ainsi que de prédire son vote pour ou contre le projet de loi. Nous avons conçu une requête spécifique pour chaque texte de loi destinée à guider ChatGPT-4 dans l’analyse des interventions57. La requête structure l’interaction avec le modèle en plusieurs étapes : le modèle reçoit un document au format JSON58 compilant toutes les interventions anonymisées d’un député (1) ; il prend connaissance des arguments présentés (2) ; et évalue si le député est « pour », ou « contre » le projet de loi ou si sa position est « inconnue » (3) ; le modèle attribue ensuite un score sur l’échelle gauche-droite (4).

Les résultats montrent que le modèle est capable de prédire les positions idéologiques des députés ainsi que leur vote, à l’exception de trois cas pour la prédiction de vote sur la loi immigration. Alors que les données de vote sont vérifiables, car ce sont des votes enregistrés, nous discutons des résultats sur la prédiction du positionnement idéologique des députés avec les dernières données du Chapel Hill Expert Survey (CHES) de 202459.

1. Résultats pour la réforme des retraites

Les résultats de ChatGPT-4 (figure 1 et tableau 1) sont similaires aux votes de la motion de censure transpartisane déposée par le groupe LIOT60 le 20 mars 2023. Rappelons que le gouvernement Borne a entrepris la réforme des retraites, à travers le Projet de loi de financement rectificative de la sécurité sociale (PLFRSS) pour 2023. L’utilisation de cette procédure budgétaire par le gouvernement était alors considérée comme stratégique, car elle permettait de contourner la procédure législative ordinaire et autorisait le gouvernement à utiliser la procédure de l’article 49, alinéa 3 de la Constitution61. Cette procédure, utilisable sans limites dans le cadre de la procédure budgétaire62, engage la responsabilité du gouvernement et permet de faire adopter un projet de loi sans vote de l’Assemblée nationale, sauf si une motion de censure est adoptée. En réaction au recours à l’art. 49, al. 3, deux motions de censure sont déposées, l’une par le groupe RN63, l’autre par le groupe LIOT. Pour notre démonstration, nous considérons la motion déposée par le groupe LIOT comme un vote exprimant les positions des députés sur la réforme des retraites plutôt que sur la responsabilité du gouvernement. En effet, cette motion, plus consensuelle que celle qui a été déposée par le groupe RN et de par sa nature transpartisane, a fait office de vote sur l’ensemble du texte. Au niveau de notre analyse, nous remarquons, par exemple, que Marine Le Pen, présidente du groupe RN, obtient le score de 30 (centre gauche), ce qui peut sembler surprenant étant donné que le RN est traditionnellement classé à l’extrême droite de l’échelle, comme le montrent les diverses vagues du Chapel Hill Expert Survey64 (CHES), avec un score de 8,81 sur 10 en 2024. Cependant, ChatGPT ne se trompe pas puisque les positions économiques du RN se sont rapprochées du centre de l’échelle (8,7 en 1999 contre 6 en 202465), et la question des retraites est devenue l’un des principaux thèmes de Marine Le Pen, à l’image des enjeux socio-économiques66. À l’inverse, le président du groupe LR67, Olivier Marleix, obtient le score de 60, en raison de son opposition aux taxations excessives des retraités, notamment les plus modestes, soulignant que les politiques fiscales actuelles ont réduit leur pouvoir d’achat. Ce score rapproche davantage le groupe LR du centre de l’échelle de la variable économique, comparativement aux données du CHES en 2024 (7,81 sur 10). Nous avons aussi testé un député considéré comme rebelle sur ce vote au sein des LR, Aurélien Pradié, ayant voté la motion de censure, contrairement au groupe68 et malgré la discipline de parti69. Ce dernier obtient le score de 40, que ChatGPT justifie par le manque de clarté du projet de réforme, notamment concernant les effets négatifs sur les carrières longues.

2. Résultats pour la loi immigration

Les prédictions sur la loi immigration (figure 2 et tableau 2) révèlent quelques difficultés. Par exemple, le modèle n’a pas su déterminer si les députés du groupe LIOT voteraient pour ou contre le texte. Son président, Bertrand Pancher, qui avait voté contre, obtient la note de 45 sans prédiction de son vote. ChatGPT le justifie par une position qu’il estime équilibrée. En revanche, le député Christophe Naegelen, également membre de LIOT, qui avait voté en faveur de la loi, obtient le score de 50, mais là encore, le modèle ne parvient pas à prédire correctement son vote. Cela peut s’expliquer par ses interventions nuancées, entre la nécessité de contrôles plus stricts de l’immigration et la régularisation des travailleurs.

Le résultat pour le président du groupe démocrate, Jean-Paul Matteï, est intéressant puisqu’il obtient la note de 55, justifiée selon le modèle par un discours équilibré entre promotion de l’intégration et reconnaissance de la migration comme une constante historique. Bien que le député se soit abstenu, le modèle prédit un vote en faveur du texte, probablement en raison du rappel qu’il a fait, lors de son intervention, du soutien à la version initiale du projet de loi70. Nous notons que ce score est proche des données du CHES pour le parti Mouvement démocrate (MoDem), puisque le score est de 5,36 sur 10 en 202471.

En résumé, notre exemple de l’utilisation de ChatGPT-4 montre qu’un grand modèle de langage préentraîné semble capable de fournir une estimation idéologique des députés, en quelques secondes et sur l’ensemble d’un débat. Notre exemple ayant été fait à petite échelle, un travail de recherche futur permettrait d’affiner la fiabilité d’un tel modèle, notamment pour prédire la dissension au sein des groupes ou les changements de groupe, par exemple.

B. Limite et réflexion

Si notre exemple montre les facilités d’usage d’un LLM comme ChatGPT, ce dernier présente tout de même une barrière tarifaire pour une utilisation plus large. Ces modèles reposent sur des tokens – unités de texte pour l’analyse et la compréhension du contenu. Ainsi, un texte de 1 000 mots correspond à environ 1 500 tokens. Selon la version du modèle, la capacité de traitement des tokens est variable et souvent limitée72, nécessitant, pour des volumes de données importants, des versions plus performantes et donc coûteuses73. Le recours aux modèles open source tels que MiXtral (Mistral AI) ou Llama (Meta) est possible, mais nécessite une configuration locale et des processeurs graphiques (graphics processing unit – GPU) pouvant être onéreux. Par ailleurs, l’efficacité algorithmique des LLMs repose principalement sur l’utilisation de GPU et du cloud, dont les infrastructures matérielles et le déploiement soulèvent des enjeux environnementaux, notamment en matière d’extraction de terres rares et de consommation d’énergie74.

Au-delà des conséquences environnementales, les biais algorithmiques ajoutent de la complexité à une perspective éthique de l’usage des LLMs. Comme nous l’avons abordé précédemment, les modèles préentraînés ne sont pas exempts de tout biais socioculturel, dont les hallucinations sont une forme d’expression.

Enfin, l’utilisation des LLMs interroge le rôle du chercheur vis-à-vis de sa propre recherche. Leurs usages peuvent être utiles dans le processus de recherche : revue de littérature75, formulation d’hypothèses76 ou aide à la rédaction77 – dont on observe une utilisation croissante78. Cependant, le risque est une possible dépossession du chercheur sur son travail. Outre les enjeux de collecte de données ou de propriété intellectuelle, une trop grande imprudence dans l’usage des modèles d’IA affecterait à long terme l’autonomie intellectuelle et la capacité créatrice des chercheurs. À l’instar des appels à son alignement79 – c’est-à-dire l’harmonisation entre les valeurs et les objectifs établis par les humains et ceux qui sont poursuivis par les modèles génératifs80 –, une utilisation responsable de l’IA, inspirée de la Déclaration de Montréal81, apparaît essentielle pour préserver l’intégrité de la communauté de chercheurs en études parlementaires.

Conclusion

L’intégration des grands modèles de langage en études parlementaires offre un réel potentiel pour les chercheurs. Ceux-ci facilitent la collecte et l’analyse d’une grande quantité de données, tout en permettant l’étude, la modélisation et la simulation des comportements parlementaires. Les LLMs peuvent enrichir l’étude des parlements en favorisant la comparaison et en comblant les données historiques partielles, voire manquantes. Malgré des résultats prometteurs comme nous l’avons montré avec la prédiction idéologique des députés français par ChatGPT, leur utilisation soulève des enjeux méthodologiques et éthiques. Les biais, les hallucinations de l’IA ainsi que les limites techniques et financières pourraient néanmoins affecter l’intégration de l’IA dans le champ. Une utilisation prudente et réflexive de ces modèles est nécessaire pour garantir la qualité et l’intégrité à l’avenir de la recherche en études parlementaires.