Le codeur probabiliste: Réflexions méthodologiques sur la validation des données produites par les LLM

Présentation

Les grands modèles de langage sont de plus en plus utilisés pour coder de grands corpus en sciences sociales. Mais leur caractère probabiliste pose un problème : le même texte et la même requête peuvent produire des réponses différentes. Comment assurer la fiabilité et la validité des résultats ? À partir d’un projet d’analyse semi-automatisée de pétitions dans la presse russe, je propose de considérer le LLM comme un codeur probabiliste accomplissant des tâches interprétatives. Je discuterai les limites d’une validation fondée principalement sur un codage humain de référence et présenterai une approche alternative combinant répétition des codages, mesure de leur stabilité, audits humains ciblés et conservation explicite des cas ambigus. L’enjeu est de traiter l’incertitude du modèle comme une information à analyser, plutôt que comme un simple défaut. 

Guillaume Sauvé sera l'intervenant de ce séminaire. 

Guillaume Sauvé est chercheur en résidence à l'Institut d'études avancées de Paris pour l'année 2026-2027. Il enseigne à l’Université du Québec à Montréal et à l’Université de Montréal. Ses recherches se situent à l’intersection de la politique comparée, de la sociologie politique et de l’histoire intellectuelle, avec un intérêt particulier pour la Russie de la fin de l’ère soviétique et de l’après-soviétique. S’appuyant sur des recherches archivistiques et des entretiens, il intègre également des méthodes des sciences sociales computationnelles.

Le discutant sera Jérémy Robine, maître de conférence à l'Université Paris 8, directeur de l'Institut français de géopolitique. 

En savoir plus

Séminaire TETRIS

TETRIS (Terrains, Enquêtes et Techniques numériques pour l'étude des Récits et des Stratégies d'influence) est un séminaire de recherche et de formation consacré aux méthodes d'analyse des récits civilisationnels et stratégiques, de leur production à leur réception en passant par leur circulation transnationale, notamment via les infrastructures du cyberespace. Il vise à développer les « terrains numériques », et à transmettre ces méthodes au delà des milieux académiques.

Modalités de participation

Séminaire ouvert au public, en présentiel ou en ligne.
Lieu en présentiel : Campus Condorcet, , bâtiment recherche Nord, salle 0.009
Lien d'inscription : https://framaforms.org/seminaire-tetris-2-guillaume-sauve-le-codeur-probabiliste-1788358262