Anthropic divisée : polémique sur la sécurité face aux investisseurs déçus

Dans le monde de l’intelligence artificielle, les débats sur la sécurité et l’éthique n’ont jamais été aussi vifs. Alors que certains acteurs appellent à la prudence extrême, d’autres choisissent une voie différente, préférant intégrer la sécurité au cœur de leur développement plutôt que de freiner l’innovation. Cette tension entre précaution et ambition divise même les investisseurs les plus engagés.

Un investisseur historique exprime sa déception

Jaan Tallinn, cofondateur de Skype et parmi les premiers soutiens financiers d’Anthropic, ne cache pas sa désillusion. L’entrepreneur estonien, qui souhaitait orienter la société vers une approche plus conservatrice, regrette que l’entreprise n’ait pas rejoint l’appel demandant l’arrêt temporaire de l’entraînement des systèmes d’IA les plus puissants.

Cette position illustre le fossé grandissant entre les attentes de certains investisseurs et la stratégie effective adoptée par les dirigeants de la société fondée par d’anciens membres d’OpenAI.

Une approche de la sécurité intégrée mais controversée

Des valeurs ancrées dans la gouvernance

Anthropic a fait le choix d’incorporer les préoccupations sécuritaires dans tous les aspects de son activité : recherche, gouvernance et recrutement. Néanmoins, la société refuse catégoriquement de signer des pétitions publiques, préférant maintenir une stratégie qu’elle juge elle-même prudente.

Fondée par les frères Amodei et d’autres transfuges d’OpenAI, l’entreprise s’est construite sur la volonté de placer la sécurité de l’IA au centre des préoccupations. Daniela Amodei, cofondatrice, mobilise son expertise acquise dans le secteur politique et les organisations non gouvernementales pour structurer cette architecture décisionnelle.

Le Long-Term Benefit Trust comme garde-fou

Un dispositif de surveillance spécifique a été mis en place : le Long-Term Benefit Trust. Ce mécanisme inclut des membres dépourvus d’intérêts financiers dans l’entreprise, chargés de contrôler les actions des dirigeants pour garantir une orientation conforme aux principes affichés.

Des financements massifs portés par l’altruisme efficace

Le premier cycle de financement, orchestré par Jaan Tallinn avec la participation de Dustin Moskovitz, a permis de réunir 124 millions de dollars. Cette levée de fonds initiale reflète l’influence du mouvement de l’altruisme efficace et du longtermisme sur les orientations stratégiques et financières de l’entreprise.

Plus récemment, Anthropic a conclu un engagement majeur avec AWS, témoignant d’ambitions technologiques considérables et d’une volonté de se doter de capacités de calcul supplémentaires.

Critiques et tensions autour de la stratégie

Yann LeCun dénonce une précaution excessive

Les choix d’Anthropic ne font pas l’unanimité dans la communauté scientifique. Yann LeCun, figure emblématique de l’apprentissage profond, critique vertement ce qu’il considère comme une prudence exagérée. Selon lui, ces précautions masqueraient en réalité des intérêts commerciaux déguisés en préoccupations sécuritaires.

Des objectifs potentiellement contradictoires

La société reconnaît elle-même que ses objectifs de sécurité pourraient entrer en conflit avec sa croissance industrielle si les mécanismes de protection ne suivent pas le rythme du développement technologique.

En mars 2023, Anthropic affirmait vouloir développer des modèles avancés pour mieux analyser leurs risques, tout en admettant les conséquences possibles sur la sécurité globale du secteur et l’intensification de la concurrence.

L’éthique au cœur de Claude

Une philosophe pour guider l’IA

Amanda Askell, philosophe intégrée aux équipes d’Anthropic, travaille spécifiquement sur l’incorporation de valeurs éthiques dans Claude, l’assistant conversationnel de la société. Son travail vise à établir un équilibre délicat entre aide à l’utilisateur, respect de son autonomie et mécanismes de protection.

Des méthodes d’entraînement questionnées

Mustafa Suleyman, entrepreneur reconnu dans le domaine, a critiqué les méthodes d’entraînement de Claude. Il pointe du doigt l’introduction de notions potentiellement problématiques comme la conscience ou les droits dans le processus d’apprentissage, soulevant des interrogations sur la contrôlabilité future du modèle.

Un écosystème interconnecté

Les contributions de personnalités extérieures comme Holden Karnofsky illustrent les liens étroits entre structures philanthropiques et entreprises technologiques comme Anthropic. Ces interactions façonnent le dialogue global sur la sécurité de l’intelligence artificielle et révèlent un réseau d’influence complexe.

Cette interconnexion entre acteurs aux profils variés témoigne de la dimension collective des enjeux soulevés par le développement de l’IA, au-delà des seuls intérêts commerciaux immédiats.