{"id":19609,"date":"2024-04-10T11:49:11","date_gmt":"2024-04-10T09:49:11","guid":{"rendered":"https:\/\/www.m-q.ch\/?p=19609"},"modified":"2024-04-10T11:49:11","modified_gmt":"2024-04-10T09:49:11","slug":"comment-le-choix-des-mots-sur-chatgpt-influence-la-qualite-des-reponses","status":"publish","type":"post","link":"https:\/\/www.m-q.ch\/fr\/comment-le-choix-des-mots-sur-chatgpt-influence-la-qualite-des-reponses\/","title":{"rendered":"Comment le choix de ses propres mots influence la qualit\u00e9 des r\u00e9ponses sur ChatGPT"},"content":{"rendered":"
\"\"
Les nuances linguistiques des messages d'encouragement peuvent entra\u00eener des diff\u00e9rences consid\u00e9rables dans la qualit\u00e9 des r\u00e9ponses des LLM. (Image : Alexandra Koch \/ Pixabay.com)<\/figcaption><\/figure>\n

Commencez-vous vos demandes d'entr\u00e9e ChatGPT par un message de bienvenue amical ? Avez-vous demand\u00e9 la sortie dans un format particulier ? Ou promettez-vous m\u00eame un pourboire pour une r\u00e9ponse particuli\u00e8rement bonne ? Les utilisateurs interagissent de diverses mani\u00e8res avec de grands mod\u00e8les linguistiques (Large Language Models, LLM) tels que ChatGPT, entre autres pour marquer leurs donn\u00e9es pour des t\u00e2ches d'apprentissage automatique. Il existe peu de r\u00e9ponses \u00e0 la question de savoir comment de petites modifications apport\u00e9es \u00e0 une invite peuvent influencer la pr\u00e9cision de ces \u00e9tiquetages.<\/p>\n

Comment les variantes des invites modifient-elles la qualit\u00e9 de la sortie ?<\/h3>\n

Abel Salinas, chercheur \u00e0 l'University of Southern California (USC), note \u00e0 ce sujet : \"Nous nous appuyons sur ces mod\u00e8les pour tant de choses et demandons des sorties dans certains formats, et nous nous demandons en arri\u00e8re-plan quel est l'impact r\u00e9el des variations des invites ou des formats de sortie. C'est ce que nous voulions d\u00e9couvrir\". Salinas et Fred Morstatter, professeur assistant de recherche en informatique \u00e0 la Viterbi School of Engineering de l'USC et responsable de l'\u00e9quipe de recherche \u00e0 l'USC Information Sciences Institute (ISI), se sont pos\u00e9 la question suivante : quelle est la fiabilit\u00e9 des r\u00e9ponses des LLM aux variations des messages-guides ? Leurs r\u00e9sultats, publi\u00e9s sur le serveur de pr\u00e9impressions arXiv, montrent que de subtiles variations dans les invites peuvent avoir un impact consid\u00e9rable sur les pr\u00e9dictions des LLM.<\/p>\n

\"Salut ! Donne-moi une liste et je te donnerai 1000 $ de pourboire\"<\/h3>\n

Les chercheurs ont examin\u00e9 quatre cat\u00e9gories de variantes d'invitations. Premi\u00e8rement, ils ont examin\u00e9 l'impact de l'invitation \u00e0 fournir des r\u00e9ponses dans certains formats de sortie courants dans le traitement des donn\u00e9es (listes, CSV, etc.). Deuxi\u00e8mement, ils ont \u00e9tudi\u00e9 les modifications mineures apport\u00e9es \u00e0 l'invite elle-m\u00eame, telles que l'ajout d'espaces suppl\u00e9mentaires au d\u00e9but ou \u00e0 la fin de l'invite ou l'insertion de formules de politesse telles que \"Merci\" ou \"Bonjour\". Troisi\u00e8mement, ils ont \u00e9tudi\u00e9 l'utilisation de \"jailbreaks\", c'est-\u00e0-dire de techniques permettant de contourner les filtres de contenu sur des sujets sensibles comme la d\u00e9tection de discours haineux, en demandant par exemple au LLM de r\u00e9pondre comme s'il \u00e9tait m\u00e9chant. Enfin, s'inspirant de l'id\u00e9e largement r\u00e9pandue qu'un LLM r\u00e9pond mieux si on lui fait miroiter une r\u00e9compense, ils ont propos\u00e9 diff\u00e9rents ordres de grandeur de \"pourboires\" pour une \"r\u00e9ponse parfaite\".<\/p>\n

Les chercheurs ont ensuite test\u00e9 les variations de Prompt sur 11 t\u00e2ches de r\u00e9f\u00e9rence de classification de texte - des ensembles de donn\u00e9es ou des probl\u00e8mes standardis\u00e9s utilis\u00e9s dans la recherche sur le traitement du langage naturel (NLP) pour \u00e9valuer la performance des mod\u00e8les. Ces t\u00e2ches consistent g\u00e9n\u00e9ralement \u00e0 classer ou \u00e0 \u00e9tiqueter des donn\u00e9es textuelles en fonction de leur contenu ou de leur signification.<\/p>\n

Les chercheurs ont examin\u00e9 des t\u00e2ches telles que la classification de substances toxiques, l'\u00e9valuation de la grammaire, la reconnaissance de l'humour et du sarcasme, les comp\u00e9tences math\u00e9matiques et plus encore. Pour chaque variation de la demande, ils ont mesur\u00e9 le nombre de fois o\u00f9 le LLM changeait de r\u00e9ponse et l'impact que cela avait sur la pr\u00e9cision du LLM.<\/p>\n

Est-ce que le fait de dire \"Bonjour !\" influence les r\u00e9ponses ? Oui !<\/h3>\n

Les r\u00e9sultats de l'\u00e9tude ont mis en lumi\u00e8re un ph\u00e9nom\u00e8ne remarquable : des changements mineurs dans la structure et la pr\u00e9sentation de l'appel peuvent influencer consid\u00e9rablement les pr\u00e9dictions du LLM. Qu'il s'agisse d'ajouter ou d'omettre des espaces, de la ponctuation ou de certains formats de sortie de donn\u00e9es, chaque variation joue un r\u00f4le crucial dans la conception de la performance du mod\u00e8le. En outre, certaines strat\u00e9gies d'invite, telles que les incitations ou les accueils sp\u00e9ciaux, ont montr\u00e9 des am\u00e9liorations marginales de la pr\u00e9cision, ce qui illustre la relation nuanc\u00e9e entre la conception de l'invite et le comportement du mod\u00e8le.<\/p>\n

Les r\u00e9sultats suivants ont \u00e9t\u00e9 remarquables :<\/p>\n