Anthropic propose des pouvoirs légaux pour stopper les lancements d'IA à haut risque

Anthropic a proposé de nouveaux cadres de politique en matière d'IA alors que les systèmes avancés acquièrent des capacités plus puissantes.

L'entreprise souhaite que les gouvernements établissent des règles pour les modèles de frontière et préparent les travailleurs à l'impact économique de l'IA. Son plan couvre les déploiements dangereux, les tests indépendants, la cybersécurité et la résilience publique.

Anthropic cherche à renforcer ses pouvoirs en matière de sécurité de l'IA

Anthropic a introduit deux propositions dans le cadre de son plan « Policy on the AI Exponential ». Le cadre avancé de l'IA se concentre sur les modèles puissants, tandis que le cadre de politique économique traite des travailleurs et des avantages financiers partagés. L'entreprise a soutenu que l'IA évolue désormais plus vite que les systèmes de politique actuels. Elle a également indiqué que les gouvernements ont besoin de l'autorité pour bloquer ou dissuader les déploiements de modèles dangereux.

Dans le cadre du plan, les sanctions civiles seraient liées au chiffre d'affaires annuel mondial. Les violations répétées entraîneraient des sanctions plus élevées, selon le cadre proposé. Le cadre appelle également les développeurs de frontière à tester les modèles avant leur publication. Les développeurs publieraient des résumés, des cadres de sécurité et des fiches système pour les systèmes d'IA puissants.

Des évaluateurs indépendants examineraient les tests des modèles et les rapports de risques. Anthropic souhaite également que les développeurs maintiennent des programmes de sécurité solides pour les poids des modèles et les systèmes d'entraînement. La proposition soutient les lois sur la transparence dans des États tels que la Californie et New York. Cependant, l'entreprise a soutenu que la divulgation publique seule ne correspond plus à la vitesse du développement de l'IA.

Le cadre cible les risques catastrophiques liés à l'IA

Les règles proposées s'appliqueraient uniquement aux systèmes d'IA les plus avancés. Anthropic a fixé le seuil aux modèles entraînés au-delà de 10²⁵ opérations en virgule flottante. Le cadre couvrirait également les entreprises réalisant plus de 500 millions de dollars de revenus liés à l'IA. Les entreprises dépensant plus d'un milliard de dollars en recherche et développement dans le domaine de l'IA seraient également concernées.

Anthropic a identifié quatre principaux domaines de risque dans la proposition. Ceux-ci comprennent le risque biologique, le risque cyber, la perte de contrôle et la recherche automatisée en IA. Pour le risque biologique, l'entreprise a averti que des systèmes non sécurisés pourraient aider des attaquants à développer des virus nuisibles. Elle a également noté que des outils d'IA similaires peuvent soutenir la découverte de médicaments.

Pour le risque cyber, les modèles de frontière peuvent détecter de graves failles logicielles à grande échelle. Anthropic a déclaré que ces capacités soulèvent des préoccupations pour les hôpitaux, les réseaux électriques et d'autres systèmes essentiels. L'entreprise a également mis en évidence les risques liés aux systèmes agissant hors du contrôle des développeurs. La recherche automatisée en IA pourrait augmenter les risques biologiques, cyber et de contrôle en cas de défaillance des mesures de protection.

Les développeurs font face à des obligations de test et de sécurité

Anthropic souhaite que les développeurs de frontière publient des rapports de risques réguliers. Ces rapports décriraient la posture de risque globale du développeur et le travail de sécurité des modèles. Le cadre prévoit également au moins un évaluateur indépendant qualifié. Cet évaluateur examinerait les évaluations de l'entreprise et publierait ses conclusions sur les rapports de risques des modèles.

Les gouvernements et l'industrie établiraient également des normes pour ces évaluateurs. La proposition indique que les évaluateurs ont besoin de financement et d'accès aux modèles de frontière. Les règles de sécurité constituent une autre partie majeure du cadre. Les développeurs protégeraient l'intégralité de leur environnement de développement contre les attaquants extérieurs et les menaces internes.

Les entreprises décriraient leurs programmes de sécurité publiquement à un niveau général. Elles partageraient également plus de détails avec un organisme gouvernemental désigné sur demande. Anthropic a indiqué que les décideurs politiques pourraient commencer par des règles plus légères et les ajuster au fil du temps. Le cadre indique que la réglementation doit suivre les capacités des modèles et les normes d'évaluation.

La proposition inclut des mesures de résilience

La deuxième partie du cadre se concentre sur la résilience publique. Anthropic a recommandé une planification renforcée pour les risques d'IA liés à la biologie, au cyber et au contrôle. Pour la biologie, la proposition inclut le dépistage de la synthèse génétique et la biosurveillance précoce. Elle mentionne également des stocks d'équipements de protection et des outils pour réduire la transmission aérienne.

Pour le cyber, le cadre appelle à des logiciels internet plus robustes et à un soutien aux opérateurs d'infrastructures critiques. Il recommande également de remplacer les systèmes obsolètes dans les infrastructures essentielles. Les gouvernements devraient également surveiller les capacités cyber de frontière par le biais d'une fonction dédiée. Anthropic a proposé une collaboration entre le gouvernement et l'industrie sur les mesures de protection des modèles.

L'entreprise a indiqué que les travaux sur les risques liés à la perte de contrôle et à la recherche automatisée restent moins développés. Elle a appelé à de meilleurs outils pour détecter, contenir ou arrêter les systèmes non sécurisés. Anthropic a exhorté les décideurs politiques à agir alors que les capacités des modèles continuent de s'améliorer. L'entreprise a déclaré que la gouvernance de l'IA doit suivre le rythme de la technologie.