Une surprise, puis un doute…

L’intelligence artificielle générative a ce don agaçant de nous surprendre. Vous lui demandez une idée, un mélange de concepts un peu fou, et parfois… bam. Le résultat est frais, inattendu. Dans certains contextes précis, il faut bien l’avouer, elle bat même la personne moyenne lors des tests de créativité standardisés.
Mais attendez avant de jeter l’éponge. Les créateurs humains les plus talentueux n’ont pas dit leur dernier mot. Surtout quand la tâche dépasse le simple jeu de mots rapide pour toucher à une écriture plus riche, plus dense, celle qui a vraiment du sens. C’est un peu le constat rassurant – ou du moins nuancé – qui ressort d’une nouvelle étude fascinante de l’Université de Montréal. Menée par le professeur Karim Jerbi, en collaboration avec le célèbre chercheur en IA Yoshua Bengio, cette recherche remet les pendules à l’heure.
L’équipe a lancé ce qu’elle décrit comme la plus grande comparaison directe jamais réalisée entre la créativité humaine et les grands modèles de langage (LLM). On ne parle pas d’un petit échantillon ici : ils ont analysé les données de plus de 100 000 personnes et ont comparé leurs résultats directement avec plusieurs systèmes d’IA de premier plan.
Le test des 10 mots : quand l’IA affronte 100 000 cerveaux

Pour que le match soit équitable, il fallait un terrain neutre. Les chercheurs ont comparé plusieurs modèles phares – dont ChatGPT, Claude, Gemini et d’autres – face à cet énorme ensemble de données humaines. Leur conclusion atterrit dans un entre-deux assez intéressant, ni tout noir ni tout blanc : certains systèmes obtiennent désormais des scores plus élevés que la moyenne humaine sur certaines mesures… mais les humains les plus performants battent encore tous les modèles testés.
« Notre étude montre que certains systèmes d’IA basés sur de grands modèles de langage peuvent désormais surpasser la créativité humaine moyenne sur des tâches bien définies », a déclaré le professeur Jerbi. Mais il a ajouté une nuance capitale : même les meilleures IA n’atteignent pas encore le niveau des humains les plus créatifs. Ce n’est pas une histoire où l’IA « gagne ». C’est plutôt l’histoire d’une machine qui devient très forte pour produire un certain type de résultat créatif mesurable, alors que l’élite de la créativité humaine reste difficile à copier.
Au cœur de tout ça, l’équipe s’est appuyée sur un outil de psychologie standard appelé la Divergent Association Task (DAT). Ça mesure la créativité divergente, c’est-à-dire la capacité à générer des idées très éloignées les unes des autres. Sur le papier, le DAT est simple : on vous demande de produire dix mots aussi peu liés que possible. Le but n’est pas d’étaler un vocabulaire savant, mais de montrer votre souplesse mentale. Êtes-vous capable de sauter d’un concept à l’autre sans rester coincé dans des thèmes évidents ? L’étude donne l’exemple d’une réponse forte : « galaxie, fourchette, liberté, algues, harmonica, quantique, nostalgie, velours, ouragan, photosynthèse ». Essayez donc de faire une liste pareille sans glisser vers des synonymes ou une même « ambiance », c’est plus dur qu’il n’y paraît. Comme le DAT est rapide et évolutif, il a permis de comparer humains et machines avec les mêmes règles de notation.
L’IA assure le service minimum, l’humain vise l’excellence

C’est là que les chiffres deviennent croustillants. Certains modèles (l’article pointe particulièrement GPT-4 du doigt) ont obtenu des scores supérieurs à l’humain moyen sur cette créativité divergente. Mais… dès que les chercheurs ont zoomé sur les personnes ayant obtenu des scores supérieurs à la moyenne, la tendance s’est inversée. Lorsqu’ils ont observé la moitié la plus créative des participants humains, leur performance moyenne dépassait chaque modèle d’IA testé. Et parmi le top 10 % des participants ? L’écart s’est encore creusé en faveur des humains.
Les chercheurs décrivent cela comme une sorte de différence de « forme » dans la distribution des talents. L’IA peut faire impressionnamment bien dans la moyenne, mais la « queue » de la distribution humaine – ces cas particuliers exceptionnels et créatifs – va toujours plus loin.
Bien sûr, on pourrait critiquer le test DAT. Faire des listes de mots, ce n’est pas écrire un grand poème ou inventer une histoire. Alors, ils ont poussé l’expérience plus loin. Ils ont testé les humains et l’IA sur des tâches créatives plus naturelles : écrire des haïkus, rédiger des résumés d’intrigues de films et produire des nouvelles. Le même schéma est réapparu. L’IA semblait parfois meilleure que la personne moyenne, mais les écrivains humains les plus solides livraient encore un travail qui semblait plus original, plus convaincant. L’IA peut générer des tas de choses « pas mal », tandis que les humains sont toujours plus susceptibles de livrer ce genre de travail qui semble indéniablement vivant au plus haut niveau.
Conclusion : Un copilote plutôt qu’un rival

L’une des parties les plus utiles de l’étude – publiée dans la revue Scientific Reports – est qu’elle traite la créativité de l’IA comme quelque chose que l’on peut régler. Les chercheurs ont découvert que la « température » du modèle (un paramètre qui contrôle à quel point les sorties sont prévisibles ou aventureuses) change les scores de créativité. Une température plus basse produit des réponses plus sûres, plus conventionnelles. Une température plus élevée pousse le modèle vers plus de variété, plus de risques et des associations inhabituelles.
Ils montrent aussi que les prompts (les instructions) comptent énormément. Des instructions qui poussent le modèle à réfléchir aux origines des mots et à la structure – comme utiliser l’étymologie – peuvent conduire à des résultats plus surprenants. En d’autres termes : une partie de ce qui ressemble à de la « créativité IA » est en réalité un pilotage humain efficace sur un système doué pour explorer l’espace qu’on lui indique.
Au final, cette étude ne se lit pas comme une victoire des machines, mais comme un retour à la réalité. Le professeur Jerbi soutient que voir cela comme une simple compétition passe à côté du sujet. « Même si l’IA peut désormais atteindre une créativité de niveau humain sur certains tests, nous devons dépasser ce sentiment trompeur de compétition », a-t-il déclaré. « L’IA générative est avant tout devenue un outil extrêmement puissant au service de la créativité humaine ». Si vous êtes déjà créatif, l’IA peut agir comme un partenaire de brainstorming ou un moteur de remix. Si vous l’êtes moins, elle peut remonter votre niveau de base. Mais pour les plus créatifs d’entre nous, elle reste un outil puissant, sans être la source des meilleures idées par elle-même.
Selon la source : earth.com
Créé par des humains, assisté par IA.