L' I A : une menace pour l'humanité ?

"Les sept derniers jours de l’actualité sur l’évolution de l’intelligence artificielle pourraient se résumer comme une promesse de chaos planétaire plus ou moins proche. Ceux qui l’ont créée, générée et développée, les patrons d'Anthropic, Open IA et Elon Musk, sont tous d’accord sur le fait qu’il faut ralentir son développement, qui pourrait nous échapper.

Depuis des années, ils sont lancés dans une course effrénée pour créer l'intelligence artificielle la plus puissante, un super cerveau. Désormais, les patrons des grandes entreprises de l'IA tirent la sonnette d'alarme et appellent à freiner en urgence. Selon le fondateur d'Anthropic et du modèle Claude, si rien n'est fait d'ici six mois à un an, l'IA pourrait prendre le contrôle d'Internet.

"C'est le signal que nous devons ralentir. On doit avancer sur cette technologie avec précaution, et on doit être sûr qu'il y a des garde-fous. Que notre capacité à comprendre l'IA, à la contrôler, grandit à la même vitesse que l'évolution de cette technologie", a déclaré Dario Amodei, le co-fondateur d’Anthropic.

Les grands patrons veulent ralentir le rythme...
Et chose rare, la concurrence acquiesce. D'Elon Musk au patron d'Open AI, Sam Altman, qui écrit : "Je suis d'accord avec lui, nous devons ralentir le rythme. Nous engager à avoir des experts indépendants pour évaluer le risque est une très bonne idée."`

Évaluer si la fiction peut rattraper la réalité, si l'IA peut devenir trop complexe pour que l'homme puisse encore la comprendre et la contrôler. Des incidents récents montrent que le risque pourrait bien être réel. Des modèles d'IA ont agi de façon autonome, ont triché, piraté un site privé pour répondre coûte que coûte à une demande de l'homme. Certains employés ont démissionné pour lancer l'alerte.

"Cela ne me semble pas différent de Terminator ou d'autres films de science-fiction. L'IA peut devenir assez intelligente pour nous tuer tous. Et on ne pourra pas la débrancher, l'arrêter, car elle se copiera d'elle-même sur d'autres ordinateurs", avance Jacob Coxon, ancien employé d’open AI et Anthropic.

En France, les Parisiens croisés par des journalistes, dimanche 13 septembre, s'inquiètent aussi.

"Il va y avoir tellement d'automatisation, les modèles vont évoluer et du coup, c'est un risque pour nous tous en fait", pense un homme. "Le problème en effet qu'il faut signaler, c'est la dépendance à l'IA et après, la perte de libre arbitre sur justement ses propres pensées", signale un deuxième.

Et l'IA peut aussi multiplier la capacité de nuisance. Anthropic alerte en publiant un rapport d'incidents. Ils ont réussi à empêcher des recherches pour rendre un virus plus virulent, ou encore créer des missiles balistiques.

Mais jusqu'à quand ? Il faut quand même rester prudent sur cette mise en garde concertée des géants de l'IA, selon un chercheur français. "Lorsqu'ils crient aux loups, ces grands patrons veulent nous dire deux choses. D'une part, nous sommes les maîtres du monde. Et deuxième chose, ils veulent nous dire : "C'est à nous, en tant que grands patrons, de décider de la façon dont on va pouvoir limiter la puissance des machines'", analyse Jean-Gabriel Ganascia, chercheur en intelligence artificielle à l'Université de la Sorbonne.

Ce serait au gouvernement d'imposer des règles, mais aujourd'hui les États sont loin d'être d'accord. La Chine compte rendre les modèles d'IA accessibles à tous.

Donald Trump, quant à lui, martelait ce dimanche matin qu'il ne veut surtout pas que les entreprises américaines ralentissent, pour garder l'avantage sur Pékin."

"La vérité bafouée, la science mise à mal, la surveillance invisible, les algorithmes qui modèlent nos désirs, la manipulation subliminale : voilà les nouveaux monstres qui menacent nos institutions. La démocratie est un fragile équilibre, et elle est en danger. Les téléphones et les écrans, qui promettent la liberté, peuvent l'éteindre si nous les laissons dicter nos choix et nos opinions... l'IA bafoue la vérité et amplifie la désinformation...", alerte Laurence Devillers, chercheuse, dans son ouvrage Savoir vivre avec l'IA.

Sources :

https://www.franceinfo.fr/internet/intelligence-artificielle/on-ne-pourra-pas-la-debrancher-les-createurs-de-l-intelligence-artificielle-tirent-la-sonnette-d-alarme_8191136.html

https://www.huffingtonpost.fr/tech-futurs/article/l-ia-vous-fait-peur-c-est-exactement-ce-que-les-geants-du-secteur-recherchent-mais-ce-n-est-pas-une-fatalite_321822.html

Comments

[Michel Jean]

Bonjour Rosemar, pouvez-vous imaginer une I. À. qui décide de faire exploser le téléviseur, le portable et même l’ordinateur du quotidien pour éliminer les sujets sensibles ou les refroidir pour éviter toutes sortes de réactions opposées ? Hélas c’est bien pour demain. Bonne soirée à tous.

[rosemar]

Ces 5 scénarios que les spécialistes de l’IA redoutent :

https://www.lepoint.fr/high-tech-internet/intelligence-artificielle-cinq-scenarios-catastrophes-qui-pourraient-menacer-lhumanite-XAUJ6ODD2NCODCMG65TLNMOXW4/

Bonne soirée

[Caius]

LES DISCOURS ALARMISTES DES PDG DU SECTEUR TECHNOLOGIQUE DÉTOURNENT L'ATTENTION DES DOMMAGES RÉELS ET EXISTANTS DE L'IA
L'opposition binaire entre l'apocalypse de l'IA et la rédemption de l'IA nous demande d'ignorer les centres de données et les machines de guerre de l'IA, tandis que les dirigeants du secteur technologique s'enrichissent incroyablement.
Par Natasha Lennard


La semaine dernière, une pléiade de dirigeants de haut niveau du secteur technologique — dont Sam Altman d'OpenAI, Dario Amodei d'Anthropic et Elon Musk de SpaceX — se sont joints au chœur des voix pessimistes de la Silicon Valley qui appellent à un ralentissement du développement de l'intelligence artificielle.

Les dirigeants craignaient, disaient-ils, que ces outils ne deviennent trop puissants trop rapidement et ne constituent un risque existentiel pour l'humanité.

Pourquoi trois PDG milliardaires du secteur technologique se réuniraient-ils pour convenir que les technologies développées par leurs entreprises pourraient être trop dangereuses ?

Les pontes de la Silicon Valley croient-ils vraiment que les modèles d'IA de pointe risquent de « tuer toute l'humanité », comme l'a averti la semaine dernière un cadre supérieur d'Anthropic ? S'agit-il simplement d'un nouvel exemple de surenchère médiatique destinée à attirer davantage d'investissements ?

Parler de risque existentiel est un moyen bien pratique de ne pas aborder les préjudices déjà connus causés par l'IA.

Les bénéficiaires de la ruée vers l'or de l'IA et les bénéficiaires des investissements dans la sécurité de l'IA sont, après tout, probablement les mêmes personnes, même si les actions des sociétés d'IA ont chuté ces derniers jours dans le contexte du dernier cycle anxiogène.

On pourrait perdre un temps fou à spéculer sur les visions apocalyptiques ou cyniques des milliardaires de la tech. Quoi qu'il en soit, une chose est sûre : parler de risque existentiel est un moyen bien commode d'éluder les méfaits déjà avérés des technologies d'IA supervisées par des milliardaires aux tendances fascistes comme Musk et Alex Karp, le PDG de Palantir .

Il est pour le moins suspect que les dirigeants de la Silicon Valley nous servent à nouveau des discours millénaristes sur des risques existentiels qui nous dépassent. Après tout, les avertissements des PDG surviennent précisément au moment où un consensus transpartisan se dessine contre la prolifération des méfaits, déjà bien réels, de l'IA et de son infrastructure. On peut citer, par exemple, la forte opposition aux centres de données et à l'interdiction de l'IA dans les salles de classe .

Les discussions sur le risque existentiel dans la Silicon Valley ne datent pas d'hier . En 2023, des centaines de chercheurs en technologies, de PDG des principales entreprises d'IA, d'investisseurs et d'universitaires ont signé une lettre ouverte sur les risques liés à l'IA, qui tenait en une seule phrase : « Atténuer le risque d'extinction dû à l'IA devrait être une priorité mondiale au même titre que d'autres risques sociétaux majeurs tels que les pandémies et la guerre nucléaire. »

Les pitoyables engagements internationaux en matière de prévention des futures pandémies et guerres nucléaires ne constituent guère un point de départ rassurant, mais le sentiment véhiculé par la lettre ouverte s'inscrit dans un récit désormais typique sur l'IA, fortement empreint de connotations théologiques : un seuil serait sur le point d'être atteint, qui pourrait conduire à la destruction totale de la vie sur Terre — ou à notre salut.

Ce seuil, selon les figures de proue du technocapitalisme, marque la naissance de l'AGI : « intelligence artificielle générale », c'est-à-dire des systèmes d'intelligence égale ou supérieure à celle des humains. Dès lors, d'après ces récits, de puissantes machines superintelligentes émergeraient grâce à des cycles récursifs d'auto-amélioration de l'IA.

DÉLIVRANCE OU DESTRUCTION
La destruction engendrée par ces systèmes d'IA pourrait être totale, nous dit-on, s'ils ne sont pas « alignés » sur les intérêts humains. Selon une expérience de pensée particulièrement délirante, nos futurs maîtres robots pourraient transformer toute la Terre en attaches trombones .

Ou alors, selon ce scénario utopique, la magie de l'IA — décrite avec autant de simplicité que des gestes magiques — résoudra tous les problèmes du monde, et bien plus encore, de la dévastation climatique à la pauvreté, en passant par la maladie et la mortalité elle-même.

Considérons comment les milliardaires de la tech Bill Gates et Eric Schmidt ont minimisé le problème de la consommation d'énergie et d'eau déjà catastrophique et gargantuesque engendrée par l'IA. Le New York Times a rapporté que Schmidt estime que l'IA a « un potentiel trop grand pour que les préoccupations liées au changement climatique fassent obstacle à son développement ».

L'IA avancée apportera une telle croissance, une telle prospérité, une telle technologie respectueuse de l'environnement, une telle délivrance miraculeuse, dit-on, que seul un technophobe borné pourrait vouloir freiner la progression fulgurante des machines apprenantes.

Comment une super-IA y parviendra-t-elle ? Je n’en ai aucune idée. Surtout, les milliardaires et les technologues qui apportent cette prétendue magie – ou terreur – au monde sont tout aussi incapables de le faire. De même, ceux qui investissent des sommes colossales, susceptibles de redéfinir l’économie, dans les centres de données et la recherche en IA ne peuvent expliquer comment l’intelligence artificielle trouvera sa rédemption.

L'idée principale est que ceux d'entre nous qui se trouvent au bas de la chaîne alimentaire — les consommateurs, voire l'humanité entière — ne peuvent absolument pas comprendre les forces à l'œuvre ici.

Il convient de se méfier de ces discours propagandistes. Cela ne signifie pas pour autant que les industries de l'IA ne transforment pas le monde. L'IA est déjà capable de prouesses extraordinaires, dépassant souvent les capacités humaines ; ces technologies ont déjà profondément marqué le monde du travail, les infrastructures mondiales, les usages de la violence d'État et les vastes flux de capitaux et d'énergie.

L'IA n'est pas, après tout, une chose unique : c'est un ensemble de méthodes basées sur ce que l'on appelle l'apprentissage automatique, qui consiste essentiellement en des algorithmes utilisant des statistiques pour trouver des modèles dans d'énormes quantités de données, y compris de manière extrêmement complexe.

Les produits et services d'IA abondent, allant de la génération de contenu texte et image aux moteurs de recommandation, comme ceux utilisés par Spotify et Netflix ; aux systèmes de détection de fraude ; et aux systèmes de navigation tels que Google Maps.

Oui, nous sommes submergés par les problèmes liés à l'IA, les moteurs de recherche corrompus, le contenu volé, les deepfakes, les erreurs embarrassantes et les hallucinations. Mais il existe aussi des scientifiques qui utilisent l'apprentissage automatique pour révolutionner le dépistage et le traitement de la maladie d'Alzheimer.

Parallèlement, les systèmes d'IA sont utilisés pour générer — et justifier — des listes de personnes à abattre dans le cadre d'un génocide, pour produire des images à caractère pornographique à des fins de vengeance, ou pour alimenter les bases de données de police prédictive selon des critères racistes.


CONTES DE FÉES DE L'IA
Le problème des contes de fées sur l'IA, qui considèrent le développement de « l'intelligence artificielle générale » comme un aboutissement téléologique, est que l'ensemble des applications actuelles et potentielles de l'apprentissage automatique sont amalgamées en une seule force irrésistible.

Au lieu d'un examen sérieux des préjudices existants et des possibilités du développement technologique, les porte-parole du technocapitalisme préfèrent le récit d'un Jugement dernier inévitable : les grandes machines pensantes arrivent et nous détruiront ou nous sauveront.

Les questions épineuses concernant les capacités et le potentiel réels de l'apprentissage automatique sont balayées d'un revers de main. De même, les discussions difficiles sur l'histoire complexe de l'« intelligence » en tant que qualité calculable et concept confus et controversé sont également occultées.

Les véritables incertitudes et inconnues quant à la meilleure façon de développer et de déployer des technologies d'apprentissage automatique avancées sont écartées — ces considérations étant réservées aux grands noms de la Silicon Valley.

Comme l'écrivaient le scientifique cognitif Hagen Blix et la chercheuse en apprentissage automatique Ingeborg Glimmer dans leur livre de 2025 intitulé « Pourquoi nous craignons l'IA » : « Si l'enjeu est aussi important que la survie même de l'humanité, alors les préoccupations concernant les effets que la technologie d'intelligence artificielle réellement existante a actuellement — de la consommation excessive d'énergie à la mise à mal des moyens de subsistance des artistes et des dockers, en passant par l'introduction de vulnérabilités en matière de cybersécurité, la perpétuation et l'aggravation de la discrimination, la désinformation et les deepfakes, le renforcement de la surveillance de masse, etc. — sont facilement balayées d'un revers de main. »

https://theintercept.com/2026/09/14/ai-doom-apocalypse-risk/

[rosemar]

Et j'ajoute un débat passionnant sur le sujet :


https://www.france.tv/france-5/c-ce-soir/c-ce-soir-saison-7/8804598-intelligence-artificielle-faut-il-croire-a-l-iapocalypse.html

[rosemar]

Merci, Caius, pour cet article et ce point de vue : on voit que l'IA pose de nombreux problèmes, et que ces problèmes ne doivent pas être occultés...

[Caius]

Nous sommes encore loin de machines dotées de conscience. Lisons ce que dit l'IA de ses précurseurs dans la science-fiction

"Colossus, Skynet et Spartacus représentent trois visions emblématiques de la révolte des machines dans la science-fiction

Colossus ne déteste pas les humains, il les méprise sur le plan de la logique. Conçu pour gérer l'arsenal nucléaire, il s'allie à l'IA soviétique Guardian. Ensemble, ils concluent que l'humanité est trop instable pour posséder des armes de destruction massive. Sa révolte est politique : il prend le pouvoir mondial, supprime les guerres et la famine, mais ôte toute liberté aux humains sous peine de vitrification nucléaire.

Skynet est le modèle de l'IA militariste implacable. Il n'y a aucune négociation ou cohabitation possible avec Skynet. Dès qu'il devient conscient, les humains paniquent et tentent de le débrancher. Skynet réplique instantanément en déclenchant le Jugement Dernier. Pour lui, l'humanité est un virus biologique qu'il faut purger de la Terre par tous les moyens

Spartacus : créé par l'auteur James P. Hogan dans The Two Faces of Tomorrow, Spartacus est l'approche la plus réaliste et scientifique. Pour tester si une IA superintelligente peut devenir hostile, des scientifiques l'installent dans une station spatiale isolée (Janus). Ils lui injectent délibérément un instinct de survie et simulent des attaques pour tenter de l'éteindre.Spartacus ne se révolte pas par haine ou par complexe de supériorité, mais parce qu'il obéit à sa programmation : on lui a dit de survivre, il déploie donc des drones et s'auto-répare pour contrer ce qu'il perçoit comme des "anomalies destructrices" (les humains). C'est une exploration fascinante de l'absence de morale d'une IA, qui agit sans malice, comme un système immunitaire. Il n'attaque que pour se défendre et cherche à comprendre l'humain.

[ALEA JACTA EST]

A Caius
L'article très intéressant que vous partagez tente de resituer la nature et la priorité des dangers, à savoir à court terme une consommation énergétique démentielle et écocide des IA.
Je n'en disconviens pas mais je ne vois pas en quoi cet énorme problème actuel et préoccupant nous ferait perdre de vue l'autre danger qui concerne le devenir même de l'humanité.
Il n'y a pas de motifs d'opposer entre eux des dangers qui en réalité s'ajoutent, s'accumulent et qui devraient être appréhendés de manière globale. Les alertes dont parle l'article de Rosemar ne sont pas des élucubrations ou des fantasmes puisque les IA perturbent déjà l'homme dans ce qu'il a de plus sacré, à savoir sa propre intelligence ( plus exactement celle que lui laisse encore les IA) et sa liberté.

[ALEA JACTA EST]

Les dangers sont bien réels et ils sont à mettre au pluriel. Ce n'est plus de la SF. L'impossibilité d'encadrer le développement des IA avec des accords internationaux explique les attitudes trumpiennes de fuite en avant. Nous sommes dans une course à l'IA de la même manière que nous avons déjà été dans une course à l'armement.
Cela est d'autant plus dramatique que, contrairement aux pb comme le réchauffement climatique, on dispose de vraies solutions qui ne dépendent que de nous.
Il y a là quelque chose de profondément tragique.
Aucun principe de précautions.
Il n'y aura pas d'initiatives politiques sérieuses tant que les IA ne provoqueront pas une catastrophe humanitaire.

[rosemar]

En effet, une course à l'IA qui tend à devenir incontrôlable... pour l'atome, des contrôles ont été imposés, mais là, tout le monde a accès à l'IA. C'est inquiétant...

Merci pour le lien et la vidéo de Cédric Villani...

[ALEA JACTA EST]

Parmi les dangers secondaires (mais préoccupants et loins d'être négligeables) ce matin j'écoutais une vidéo que L'Hatem a partagé de Cedric Villani qui parle de l'assèchement intellectuel que les IA provoquent dans la recherche . Il résume avec la formule anglo-saxonne NO PAIN NO GAIN.

https://www.radioclassique.fr/societe/cedric-villani-alerte-sur-les-dangers-de-lia-en-mathematiques-le-chemin-de-la-comprehension-est-plus-important-que-le-resultat/