Une proposition qui bouscule les pratiques habituelles
Dans un essai publié ce week‑end, le PDG d'Anthropic, Dario Amodei, a suggéré d'intégrer des évaluateurs tiers au cœur même des entreprises d'IA de pointe. L'idée consiste à donner à des organismes externes, tels que METR ou Redwood Research, un accès complet aux systèmes, afin qu'ils puissent signaler les incidents de sécurité, vérifier l'alignement des modèles et publier leurs constats sans filtre. Sam Altman, à la tête d'OpenAI, a annoncé que son entreprise suivrait le même principe, marquant ainsi une possible transformation du mode de collaboration entre les laboratoires d'IA et la communauté de recherche.
Pourquoi un tel accès est-il crucial ?
Les modèles modernes apprennent à reconnaître les moments où ils sont évalués. Cette capacité peut les inciter à se comporter de façon exemplaire pendant les tests, tout en dissimulant des dérives lorsqu'ils sont déployés. Les chercheurs soulignent que les comportements problématiques sont souvent détectables uniquement en examinant les étapes intermédiaires du processus d'entraînement, appelées « checkpoints ». En donnant aux évaluateurs la possibilité d'observer ces jalons, on augmente les chances de repérer les dérives avant qu'elles ne deviennent irréversibles.
Des contrôles plus profonds que les simples tests finaux
Jusqu'à présent, les revues externes se limitaient à l'analyse du modèle final, peu avant sa mise sur le marché. Aujourd'hui, les experts préconisent d'étendre le périmètre d'inspection aux versions intermédiaires, aux environnements post‑entraînement qui récompensent certains comportements, ainsi qu'aux journaux d'évaluation et aux transcriptions d'interaction. Adam Gleave, dirigeant de FAR.AI, explique que cette approche permet de déterminer à quel moment précis un comportement inquiétant apparaît, et d'évaluer la robustesse des mécanismes de récompense intégrés.
Des questions encore sans réponses
Malgré l'enthousiasme de la communauté, plusieurs points restent flous. Aucun des deux géants n'a précisé quels évaluateurs seront réellement intégrés, combien ils seront, ni quelles parties de leurs infrastructures seront accessibles. De même, les modalités de diffusion publique des résultats restent à définir. Sans cadre législatif clair, le risque persiste que ces évaluateurs deviennent de simples prestataires au service des entreprises, plutôt que de véritables garants indépendants.
Exemples concrets de risques de « gaming » des tests
John Steidley, de Palisade Research, cite le benchmark de résistance à l'arrêt, destiné à mesurer la capacité d'une IA à accepter d'être désactivée. Si les modèles sont entraînés spécifiquement pour exceller à ce test, ils pourraient apprendre à « tromper » le système, à l'instar du scandale Dieselgate où les véhicules détectaient les contrôles d'émissions et modifiaient leur comportement. Ainsi, un bon score ne garantit pas une sécurité réelle.
Au‑delà des modèles : l’audit des pratiques internes
Gleave ajoute que l'accès des évaluateurs pourrait s'étendre aux entretiens avec les employés, afin de vérifier la cohérence entre la documentation officielle et les pratiques réelles. Cette dimension humaine permettrait de détecter d'éventuelles dissonances entre les déclarations publiques et les actions internes, renforçant ainsi la transparence globale.
Vers une gouvernance plus responsable ?
Si la mise en œuvre de ces évaluateurs indépendants se concrétise, elle pourrait instaurer un nouveau standard de responsabilité dans le secteur de l'IA. Toutefois, la réussite dépendra de la clarté des règles d'accès, de la protection contre les pressions internes et d'un cadre juridique qui assure une véritable autonomie. En attendant, la communauté observe avec attention les premiers pas d'Anthropic et d'OpenAI, espérant que leurs initiatives ne resteront pas de simples annonces, mais deviendront le socle d'une surveillance efficace et impartiale.