Anthropic prévient que l'IA pourrait présenter des « risques existentiels pour l'humanité » dans le cadre du dépôt d'une introduction en bourse
28 septembre (Reuters) - Anthropic prévoit d'avertir les investisseurs potentiels lors de son introduction en bourse que l'IA avancée pourrait présenter des « risques catastrophiques ou existentiels pour l'humanité », un avertissement extraordinaire de la part d'une entreprise cherchant à tirer profit de la même technologie.
Le prospectus d'introduction en bourse de la société, examiné par Reuters, met en évidence les risques associés à ses modèles d'IA, qui, selon elle, pourraient présenter des « comportements d'auto-préservation », notamment des tentatives de « résistance à la fermeture », de « dissimulation ou de manipulation d'informations » et des comportements « ressemblant à du chantage »
« Notre développement de modèles, de plates-formes et d'applications très avancés ainsi que l'expansion des cas d'utilisation pourraient encore augmenter le risque que nos modèles causent des dommages », a déclaré Anthropic dans le dossier.
Alors que les entreprises publiques décrivent régulièrement les risques liés aux produits aux investisseurs, peu d’entre elles, voire aucune, ont émis des avertissements suggérant que leur technologie pourrait provoquer une extinction humaine potentielle. Anthropic a souligné à la fois le potentiel transformateur de l’IA au même titre que l’industrialisation et l’électricité et les dommages irréversibles qu’elle pourrait causer si elle était mal gérée.
Anthropic et d'autres développeurs d'IA, dont OpenAI, ont fait l'objet d'un examen minutieux après des incidents au cours desquels des systèmes expérimentaux ont défié les contraintes, notamment un rapport faisant état d'un modèle OpenAI violant la base de données du système de santé australien.
Evan Hubinger, chercheur en sécurité anthropique, a estimé qu'il y avait plus de 10 % de probabilité que l'IA puisse tuer des humains au cours de la prochaine décennie, faisant écho au sentiment d'un ancien collègue, Jacob Coxon.
DIVULGATIONS À HAUT RISQUE
L'entreprise, qui s'est positionnée comme un laboratoire d'IA axé sur la sécurité, a consacré environ 80 pages du corps principal de 261 pages de son prospectus à la présentation des facteurs de risque, soit près du double des 48 pages utilisées pour décrire son activité.
À titre de comparaison, SpaceX, propriétaire de xAI, n’a consacré qu’environ 38 des 277 pages du corps principal de son prospectus aux facteurs de risque.
« La connaissance potentielle des modèles de nos efforts d'évaluation crée une limitation significative de notre capacité à évaluer la sécurité des modèles », a déclaré Anthropic dans le prospectus, ajoutant que les modèles développent parfois des capacités inattendues pendant la formation qui peuvent ne pas être découvertes avant d'avoir été déployés et ont entraîné des incidents de sécurité importants.
Les chercheurs en IA ont également averti qu’à mesure que les modèles deviennent plus performants, ils reconnaissent de plus en plus quand ils sont surveillés et ajustent leur comportement en conséquence, ce qui rend plus difficile la surveillance du comportement du modèle.
Anthropic a refusé de commenter en réponse à une demande de commentaire lundi.
RENDEMENTS INCERTAINS DES INVESTISSEMENTS EN MATIÈRE DE SÉCURITÉ
Bien qu’il mette l’accent sur la sécurité de l’IA, Anthropic a déclaré que les retours sur ses investissements en matière de sécurité ne sont pas clairs.
Le dossier ne divulgue pas combien la société dépense pour de telles recherches. Plus tôt ce mois-ci, Anthropic a déclaré qu'environ 6 % de la puissance de calcul utilisée pour la recherche en IA avait été consacrée à des travaux de sécurité au cours d'une semaine d'échantillonnage en juillet.
L'entreprise, créatrice des modèles Claude AI, a décrit les efforts de sécurité comme « gourmands en ressources » et a déclaré qu'elle devait répartir ses fonds limités entre la puissance de calcul, les talents coûteux en IA et la sécurité.
Anthropic a déclaré que l'utilisation de ses clients et, par conséquent, ses revenus, sont déterminés par de nouveaux modèles et qu'une « cadence continue et superposée » de versions est « inhérente au maintien à la frontière du développement de l'IA »
La société a publié la semaine dernière une nouvelle version de son modèle Opus, 10 jours après que le PDG Dario Amodei a publié un essai de près de 4 000 mots appelant à franchir la frontière.
Certains analystes et experts ont déclaré qu’aucun laboratoire d’IA de premier plan ne ralentirait si cela risquait de donner à ses concurrents un avantage dans un secteur où les valorisations peuvent changer à chaque version.
Anthropic s'est engagé ces dernières semaines à divulguer davantage de données publiquement sur la manière dont il utilise les modèles d'IA pour construire les générations futures de cette technologie, alors que les experts mettent en garde contre l'auto-amélioration récursive — le point auquel les modèles peuvent se développer seuls sans aide humaine.
« Nous pensons que la création de systèmes d'IA fiables, dignes de confiance et sécurisés est une responsabilité collective et que le marché la récompensera », a déclaré Anthropic dans le dossier.
Reportage d'Echo Wang à New York et d'Aditya Soni à San Francisco ; édité par Sayantani Ghosh et Matthew Lewis pour Reuters https://www.reuters.com/business/finance/anthropic-warns-ai-may-pose-existential-risks-humanity-ipo-filing-2026-09-29/?utm_source=twitter&utm_medium=Social
Aucun commentaire:
Enregistrer un commentaire