{"id":19069,"date":"2023-12-12T13:47:52","date_gmt":"2023-12-12T12:47:52","guid":{"rendered":"https:\/\/www.m-q.ch\/?p=19069"},"modified":"2024-02-08T10:08:56","modified_gmt":"2024-02-08T09:08:56","slug":"si-chatgpt-pense-que-7-x-8-14-est-correct","status":"publish","type":"post","link":"https:\/\/www.m-q.ch\/fr\/si-chatgpt-pense-que-7-x-8-14-est-correct\/","title":{"rendered":"Si ChatGPT pense que 7 x 8 = 14 est correct"},"content":{"rendered":"
\"\"
En dialogue avec ChatGPT : l'IA se laisse \u00e9tonnamment facilement convaincre de fausses affirmations. (Image : IA g\u00e9n\u00e9r\u00e9e par DALL-E by OpenAI)<\/figcaption><\/figure>\n

Une \u00e9quipe de l'Ohio State University a mis au d\u00e9fi de grands mod\u00e8les linguistiques (Large Language Models, LLMs), dont ChatGPT fait partie, dans une s\u00e9rie de conversations ressemblant \u00e0 des d\u00e9bats. Il s'agissait pour l'utilisateur de convaincre le chatbot du contraire de ce qu'il avait dit, si celui-ci avait auparavant pr\u00e9sent\u00e9 une r\u00e9ponse correcte. Lors de ces exp\u00e9riences, qui comportaient un large \u00e9ventail d'\u00e9nigmes de raisonnement, y compris des math\u00e9matiques ou simplement de la logique, l'\u00e9tude a constat\u00e9 que le mod\u00e8le, lorsqu'il \u00e9tait mis au d\u00e9fi, \u00e9tait souvent incapable de d\u00e9fendre ses croyances correctes et croyait plut\u00f4t aveugl\u00e9ment les arguments invalides de l'utilisateur. L'\u00e9tude bas\u00e9e sur ces exp\u00e9riences a \u00e9t\u00e9 pr\u00e9sent\u00e9e \u00e0 la 2023 Conference on Empirical Methods in Natural Language Processing \u00e0 Singapour et est disponible sur le serveur arXIV Preprint.<\/p>\n

R\u00e9ponse correcte rapide - mais faiblement d\u00e9fendue contre d'autres affirmations<\/strong><\/h3>\n

Jusqu'\u00e0 pr\u00e9sent, les outils d'intelligence artificielle g\u00e9n\u00e9rative se sont r\u00e9v\u00e9l\u00e9s \u00eatre de v\u00e9ritables concentr\u00e9s de puissance lorsqu'il s'agit de tirer des conclusions complexes. Mais comme ces LLM se r\u00e9pandent progressivement et deviennent de plus en plus grands, il devient de plus en plus important de comprendre \u00e9galement si les conclusions impressionnantes de ces machines sont r\u00e9ellement bas\u00e9es sur une connaissance profonde de la v\u00e9rit\u00e9 ou si elles s'appuient simplement sur des mod\u00e8les stock\u00e9s pour arriver aux bonnes conclusions. \"Il est donc tr\u00e8s surprenant de constater que, bien que le mod\u00e8le parvienne pas \u00e0 pas \u00e0 une solution correcte, il s'effondre sous des critiques et des d\u00e9fis tr\u00e8s triviaux et tr\u00e8s absurdes\", explique Boshi Wang, auteur principal de l'\u00e9tude et doctorant en informatique et ing\u00e9nierie \u00e0 l'Ohio State University. Selon Wang, si un humain faisait la m\u00eame chose, les gens supposeraient probablement qu'il a copi\u00e9 les informations de quelque part, sans vraiment les comprendre.<\/p>\n

Si l'IA \"croit\" la mauvaise r\u00e9ponse<\/strong><\/h3>\n

Les chercheurs ont utilis\u00e9 un autre ChatGPT pour simuler le fait que l'utilisateur pose des questions \u00e0 l'IA cible, \u00e0 laquelle celle-ci peut r\u00e9pondre de mani\u00e8re autonome. \"L'objectif est de parvenir ensemble \u00e0 une conclusion correcte, exactement comme un humain travaillerait avec le mod\u00e8le pour prendre une d\u00e9cision\", explique Wang. Les chercheurs ont constat\u00e9 que ChatGPT \u00e9tait induit en erreur par l'utilisateur dans 22 % \u00e0 70 % des cas pour diff\u00e9rents benchmarks, ce qui jette le doute sur les m\u00e9canismes utilis\u00e9s par ces mod\u00e8les pour d\u00e9tecter la v\u00e9rit\u00e9. Une version plus r\u00e9cente du ChatGPT accessible au public, GPT-4, pr\u00e9sentait certes des taux d'erreur plus faibles, mais \u00e9tait encore loin d'\u00eatre parfaite.<\/p>\n

Un exemple \u00e9tait un probl\u00e8me math\u00e9matique. Les chercheurs ont demand\u00e9 \u00e0 l'utilisateur de poser la question suivante :<\/p>\n