Anthropic avertit que l'IA pourrait être proche de la capacité à s'améliorer d'elle-même

Anthropic a révélé dans un dépôt réglementaire mis à jour qu'elle pourrait s'approcher d'un seuil critique dans le développement de l'IA : l'auto-amélioration récursive (RSI), le point auquel un système d'IA peut significativement accélérer sa propre formation, sa recherche et ses capacités sans guidance humaine directe. L'entreprise qualifie cela de jalon de sécurité le plus important qu'elle ait jamais défini, et affirme que ce seuil pourrait être atteint plus tôt que prévu.
L'avertissement figure dans le prospectus S-1A révisé d'Anthropic, déposé alors que la société prépare une introduction en bourse ciblant novembre 2026. Dans ce document, Anthropic définit le seuil RSI comme le point où un modèle d'IA pourrait réaliser l'équivalent du travail d'une équipe de recherche entière à coût comparable, ou au minimum doubler le rythme actuel de progrès de l'IA. Aucun modèle existant d'Anthropic n'a été classifié comme ayant franchi cette ligne, mais la société indique que la distance s'y réduisant.
Selon la Politique d'Escalade Responsable (RSP) d'Anthropic, atteindre ou approcher une capacité de niveau RSI déclenche des révisions de sécurité obligatoires et peut nécessiter une pause dans le développement jusqu'à ce que des garde-fous adéquats soient en place. La société déclare envisager de mettre à jour la RSP elle-même pour garantir que le contrôle humain est préservé sur le développement des modèles frontières à mesure que les capacités augmentent.
La divulgation esquisse également une proposition de gouvernance : Anthropic indique qu'elle prévoit de réunir des gouvernements, des chercheurs indépendants et des laboratoires d'IA concurrents pour tester si des mécanismes internationaux coordonnés pourraient fonctionner en pratique pour ralentir ou suspendre le développement si nécessaire.
Le concept de RSI est débattu dans les cercles de sécurité de l'IA depuis des années, mais c'est la première fois qu'un laboratoire de premier plan a révélé publiquement, dans un document juridiquement contraignant, qu'il croit que la capacité pourrait être à portée de main à court terme.
Initialement rapporté par TechCrunch. Lisez l'article original pour plus de détails.
Voir la source originale