Auteur/autrice : marc

Hier, le « prompt engineering« . Aujourd’hui, penchons-nous sur les « mécanismes d’attention » – probablement la métaphore la plus trompeuse de l’IA moderne.

L’histoire commence en 2017 avec un paper au titre genial : « Attention Is All You Need ». Les chercheurs découvrent qu’en pondérant différemment les parties des données d’entrée, ils améliorent drastiquement les performances des modèles. Breakthrough technique remarquable.

Mais l’appeler « attention » ? Pure manipulation sémantique.

Soudain, tout le monde imagine l’IA « se concentrant » comme un étudiant attentif. Les journalistes tech parlent d’IA « focalisée » et « contemplative ». Les investisseurs visualisent des esprits artificiels méditant sur les données.

La réalité ? De la multiplication matricielle sophistiquée.

Le modèle assigne des poids numériques aux différents éléments d’entrée. Poids élevé = influence plus forte sur la sortie. C’est tout. Comme un système de vote pondéré, pas une conscience qui « fait attention ».

Cette confusion linguistique transforme des maths excellentes en mystère pseudo-cognitif. Au lieu de dire « nous avons amélioré notre algorithme de pondération », on entend « révolutionnaires mécanismes d’attention qui permettent la conscience artificielle ».

Le problème ? Quand vous pensez que l’IA « fait attention » comme les humains, vous attendez une compréhension humaine. Quand vous réalisez que c’est de la pondération statistique, vous pouvez vraiment prédire et contrôler son comportement.

Les mécanismes d’attention mathématiques : révolutionnaires. L’attention cognitive : inexistante.

Demain : le « raisonnement en chaîne de pensée » ou comment l’IA a appris à montrer ses calculs.

Avouons-le : l’industrie tech adore transformer des concepts basiques en révolutions. Et « Prompt Engineering » est probablement l’exemple le plus flagrant.

J’observe cette comédie depuis des mois. Des formations à plusieurs milliers d’euros pour apprendre à « engineer des prompts ». Des LinkedIn pleins de « Prompt Engineers » fraîchement diplômés. Des conférences où l’on vous explique doctement les « meilleures pratiques » de cette « discipline émergente ».

Mais derrière ce vernis académique, qu’est-ce qu’on trouve ?

Du trial and error avec des instructions. Point.

Quand vous reformulez une question à ChatGPT parce que la première tentative vous a donné n’importe quoi – félicitations, vous faites du « prompt engineering ». Quand vous ajoutez « sois précis » ou « réfléchis étape par étape » pour obtenir de meilleurs résultats – vous êtes désormais un ingénieur des prompts.

Cette mystification m’agace parce qu’elle cache une vérité plus simple et plus utile : ces systèmes fonctionnent comme des perroquets statistiques sophistiqués. Comprendre ça vous rend plus efficace que tous les cours de « prompt engineering » du monde.

L’ingénierie, la vraie, implique des méthodes systématiques, des principes scientifiques, des résultats prévisibles et déterministes. Le « prompt engineering » ? C’est plutôt « essayons cette formulation et voyons ce qui arrive ».

Certes des structures de prompts sont meilleures que d’autres, comme certaines personnes sont meilleures que d’autres pour articuler une demande. C’est de la communication, pas de l’ingénierie !

Cette semaine, je démonte cinq termes qui transforment la réalité technique en mystère ésotérique. Parce que comprendre comment ces systèmes fonctionnent vraiment vaut mieux que de paraître intelligent dans les dîners parisiens.

Demain : pourquoi les « mécanismes d’attention » ne font attention à rien du tout.

Nous avons passé 8 épisodes à déconstruire le mythe de l’ »IA qui remplace l’humain ». Maintenant, la vraie question :

Comment collaborer intelligemment avec l’IA sans perdre notre âme ?

Cal Newport, dans « Deep Work », nous met en garde : les outils qui nous promettent la productivité sont souvent ceux qui détruisent notre capacité de concentration profonde, de réflexion critique, de créativité véritable.

L’IA est un amplificateur redoutable. Mais elle amplifie VOTRE direction. Si vous n’avez pas de boussole intérieure, elle ne vous en fournira pas.

Voici mon manifeste pour une collaboration honnête :

• L’IA traite les données. Vous posez les questions essentielles.
• L’IA génère des options. Vous choisissez avec conscience éthique.
• L’IA optimise le connu. Vous imaginez l’impossible.
• L’IA accélère l’exécution. Vous apportez la vision.
• L’IA simule l’empathie. Vous la vivez authentiquement.

L’humain augmenté n’est pas celui qui délègue aveuglément tout à l’algorithme. C’est celui qui utilise l’IA pour se libérer des tâches répétitives, afin de se concentrer sur ce que SEUL l’humain peut faire :

Penser de façon critique.

Créer de façon transgressive.

Ressentir avec authenticité.

Douter avec honnêteté.

Rêver l’impossible.

Assumer ses choix éthiquement.

L’IA nous offre une opportunité historique : libérer notre temps des corvées cognitives pour retrouver notre essence.

Mais cette opportunité peut aussi devenir un piège : déléguer notre jugement, externaliser notre pensée, abandonner notre responsabilité.

Le choix nous appartient.

Moi, je choisis d’utiliser l’IA comme outil, pas comme béquille.

Et vous ?

---

Sources :

• Cal Newport – « Deep Work: Rules for Focused Success in a Distracted World » (2016)
• Harvard Business Review (2024-2025) – Études sur l’utilisation de l’IA en contexte stratégique et risques de délégation sans supervision

Sources complémentaires (pour l’ensemble de la série) :

• Récapitulatif des penseurs cités :
  • Daniel Kahneman – Intuition et biais
  • Brené Brown – Empathie et vulnérabilité
  • Margaret Boden – Créativité computationnelle
  • John Searle – Chambre Chinoise et compréhension
  • Hannah Arendt – Éthique et responsabilité
  • Steven Pinker – Apprentissage et structures innées
  • Richard Feynman & Carl Sagan – Pensée critique
  • Clayton Christensen – Innovation disruptive

Demandez à ChatGPT n’importe quelle question. Il vous répondra avec aplomb, structure, références (parfois inventées).

Demandez-lui : « Es-tu sûr de ta réponse ? » Il vous dira oui, avec des nuances prudentes mais rassurantes.

Demandez-lui : « Et si tu avais complètement tort ? » Il reconnaîtra la possibilité théorique, mais ne DOUTERA jamais vraiment.

Parce que douter nécessite une conscience de ses propres limites. Et l’IA n’a pas de conscience.

Richard Feynman, ce génie espiègle de la physique quantique, répétait : « Le premier principe est que vous ne devez pas vous tromper vous-même — et vous êtes la personne la plus facile à tromper. »

L’humain peut se tromper, mais il peut aussi SE SAVOIR en train de se tromper. Il peut douter, remettre en question, chercher activement à falsifier ses propres croyances.

L’IA ? Elle produit du contenu plausible. Point. Elle n’a aucun mécanisme interne de doute critique.

Carl Sagan nous a légué le « Baloney Detection Kit » : des outils intellectuels pour débusquer le bullshit. Parmi eux : le rasoir d’Occam, la demande de preuves réplicables, la méfiance envers les arguments d’autorité. J’y reviendrai…

L’IA fait exactement le contraire : elle utilise des arguments d’autorité (« selon des études »), elle génère des références qui n’existent pas, elle ne vérifie rien.

Karl Popper nous rappelle que la science progresse par réfutabilité : on cherche activement à prouver qu’on a tort.

L’IA ne cherche jamais à se réfuter. Elle optimise pour convaincre, pas pour dire la vérité.

La curiosité véritable n’est pas « trouver des réponses ». C’est « poser les bonnes questions, surtout celles qui nous dérangent ».

L’IA donne des réponses. Seul l’humain ose vraiment questionner.

---

Sources :

• Richard Feynman – « Surely You’re Joking, Mr. Feynman! » (1985)
• Carl Sagan – « The Demon-Haunted World: Science as a Candle in the Dark » (1995)
• Karl Popper – « The Logic of Scientific Discovery » (1959)
• Daniel Kahneman – « Thinking, Fast and Slow » (2011)
• Bertrand Russell – « The Problems of Philosophy » (1912)
• Socrate – Méthode socratique et « je sais que je ne sais rien »
• Michael Shermer – « Why People Believe Weird Things » (1997)
• AI hallucinations research

Les chercheurs en IA sont fiers d’annoncer que leurs modèles peuvent faire du « few-shot learning » : apprendre avec quelques exemples seulement.

Quelques exemples ? Genre 5, 10, 50 ?

Pour le moment, tout ceci est pathétique comparé à un enfant humain (et cela changera dans le futur, bien sûr).

Montrez un chat à un enfant de 3 ans. Une seule fois. Ensuite, il reconnaît tous les chats : persans, siamois, tigres, lions, dessins animés de chats, sculptures de chats. Il généralise instantanément le concept.

ChatGPT-4 ? Il a ingéré des millions (milliards ?) d’images avant de pouvoir identifier un chat. Et même après, montrez-lui un chat stylisé, en origami, en ombre chinoise, il peut échouer.

Pourquoi cette différence hallucinante ?

Parce que l’apprentissage humain n’est pas basé sur la mémorisation de patterns statistiques. Il est basé sur la construction de MODÈLES CONCEPTUELS du monde.

Steven Pinker, dans « The Blank Slate », démontre que nous ne sommes pas des ardoises vierges. Nous naissons avec des structures cognitives innées — grammaire universelle, physique intuitive, psychologie naïve — qui nous permettent d’apprendre de façon explosive.

Un enfant apprend le concept de « cassé » et l’applique instantanément à des milliers d’objets jamais rencontrés : verre cassé, jouet cassé, cœur cassé.

L’IA ? Elle doit être réentraînée pour chaque nouveau domaine. Le « transfer learning » de l’IA est une blague comparé au transfert conceptuel humain.

Yuval Noah Harari note dans « Sapiens » que notre capacité à créer et manipuler des abstractions — à apprendre des concepts, pas des exemples — est ce qui nous a permis de dominer la planète.

L’IA apprend à reproduire. L’humain apprend à comprendre.

Nuance gigantesque.

---

Sources :

• Steven Pinker – « The Blank Slate: The Modern Denial of Human Nature » (2002)
• Yuval Noah Harari – « Sapiens: A Brief History of Humankind » (2011)
• Brenden Lake et al. – « Human-level concept learning through probabilistic program induction » (Science, 2015)
• Gary Marcus – « The Algebraic Mind » (2001)
• Alison Gopnik – « The Scientist in the Crib » (1999)
• François Chollet – « On the Measure of Intelligence » (2019)