{"id":19609,"date":"2024-04-10T11:49:11","date_gmt":"2024-04-10T09:49:11","guid":{"rendered":"https:\/\/www.m-q.ch\/?p=19609"},"modified":"2024-04-10T11:49:11","modified_gmt":"2024-04-10T09:49:11","slug":"wie-bei-chatgpt-die-eigene-wortwahl-die-qualitaet-von-antworten-beeinflusst","status":"publish","type":"post","link":"https:\/\/www.m-q.ch\/de\/wie-bei-chatgpt-die-eigene-wortwahl-die-qualitaet-von-antworten-beeinflusst\/","title":{"rendered":"Wie bei ChatGPT die eigene Wortwahl die Qualit\u00e4t von Antworten beeinflusst"},"content":{"rendered":"
\"\"
Sprachliche Nuancen bei Prompts k\u00f6nnen erheblich unterschiedliche Antwortqualit\u00e4ten bei LLMs hervorrufen. (Bild: Alexandra Koch \/ Pixabay.com)<\/figcaption><\/figure>\n

Beginnen Sie Ihre ChatGPT-Eingabeaufforderungen mit einer freundlichen Begr\u00fcssung? Haben Sie um die Ausgabe in einem bestimmten Format gebeten? Oder versprechen Sie sogar ein Trinkgeld f\u00fcr eine besonders gute Antwort? Nutzerinnen und Nutzer interagieren auf vielf\u00e4ltige Weise mit grossen Sprachmodellen (Large Language Models, LLMs) wie ChatGPT, u. a. um ihre Daten f\u00fcr maschinelle Lernaufgaben zu kennzeichnen. Es gibt nur wenige Antworten darauf, wie kleine \u00c4nderungen an einer Eingabeaufforderung die Genauigkeit dieser Etikettierungen beeinflussen k\u00f6nnen.<\/p>\n

Wie ver\u00e4ndern Varianten von Eingabeaufforderungen die Ausgabequalit\u00e4t?<\/h3>\n

Abel Salinas, ein Forscher an der University of Southern California (USC), h\u00e4lt dazu fest: „Wir verlassen uns bei so vielen Dingen auf diese Modelle und verlangen Ausgaben in bestimmten Formaten, und wir fragen uns im Hinterkopf, welche Auswirkungen Variationen von Eingabeaufforderungen oder Ausgabeformaten tats\u00e4chlich haben. Das wollten wir herausfinden.“ Salinas und Fred Morstatter, Forschungsassistenzprofessor f\u00fcr Informatik an der Viterbi School of Engineering der USC und Leiter des Forschungsteams am USC Information Sciences Institute (ISI), stellten sich die Frage: Wie zuverl\u00e4ssig sind die Antworten von LLMs auf Variationen in den Prompts? Ihre Ergebnisse, die auf dem Preprint-Server arXiv ver\u00f6ffentlicht wurden, zeigen, dass subtile Variationen in den Eingabeaufforderungen einen erheblichen Einfluss auf die Vorhersagen der LLMs haben k\u00f6nnen.<\/p>\n

„Hallo! Gib mir eine Liste und ich gebe dir 1.000 Dollar Trinkgeld“<\/h3>\n

Die Forscher untersuchten vier Kategorien von Aufforderungsvarianten. Erstens untersuchten sie die Auswirkungen der Aufforderung, Antworten in bestimmten, in der Datenverarbeitung \u00fcblichen Ausgabeformaten (Listen, CSV usw.) zu geben. Zweitens untersuchten sie geringf\u00fcgige \u00c4nderungen an der Aufforderung selbst, wie das Hinzuf\u00fcgen zus\u00e4tzlicher Leerzeichen am Anfang oder Ende der Aufforderung oder das Einf\u00fcgen von H\u00f6flichkeitsfloskeln wie „Danke“ oder „Hallo!“. Drittens untersuchten sie den Einsatz von „Jailbreaks“, d. h. Techniken zur Umgehung von Inhaltsfiltern bei sensiblen Themen wie der Erkennung von Hassreden, indem sie z. B. den LLM aufforderten, so zu antworten, als sei er b\u00f6se. Und schliesslich boten sie, inspiriert von der weit verbreiteten Vorstellung, dass ein LLM besser antwortet, wenn man ihm eine Belohnung in Aussicht stellt, unterschiedliche Gr\u00f6ssenordnungen von „Trinkgeldern“ f\u00fcr eine „perfekte Antwort“ an.<\/p>\n

Die Forscher testeten dann die Prompt-Variationen anhand von 11 Benchmark-Aufgaben zur Textklassifizierung – standardisierte Datens\u00e4tze oder Probleme, die in der Forschung zur Verarbeitung nat\u00fcrlicher Sprache (NLP) zur Bewertung der Modellleistung verwendet werden. Bei diesen Aufgaben geht es in der Regel darum, Textdaten auf der Grundlage ihres Inhalts oder ihrer Bedeutung zu kategorisieren oder zu kennzeichnen.<\/p>\n

Die Forscher untersuchten Aufgaben wie die Klassifizierung von Giftstoffen, die Bewertung von Grammatik, die Erkennung von Humor und Sarkasmus, mathematische F\u00e4higkeiten und mehr. F\u00fcr jede Variation der Aufforderung wurde gemessen, wie oft das LLM seine Antwort \u00e4nderte und welche Auswirkungen dies auf die Genauigkeit des LLM hatte.<\/p>\n

Beeinflusst das Sagen von „Hallo!“ die Antworten? Ja!<\/h3>\n

Die Ergebnisse der Studie brachten ein bemerkenswertes Ph\u00e4nomen ans Licht: Geringf\u00fcgige \u00c4nderungen in der Struktur und Pr\u00e4sentation der Aufforderung k\u00f6nnen die Vorhersagen des LLM erheblich beeinflussen. Ob es sich um das Hinzuf\u00fcgen oder Weglassen von Leerzeichen, Interpunktion oder bestimmte Datenausgabeformate handelt, jede Variation spielt eine entscheidende Rolle bei der Gestaltung der Modellleistung. Dar\u00fcber hinaus zeigten bestimmte Prompt-Strategien, wie z. B. Anreize oder spezielle Begr\u00fcssungen, marginale Verbesserungen der Genauigkeit, was die nuancierte Beziehung zwischen Prompt-Design und Modellverhalten verdeutlicht.<\/p>\n

Bemerkenswert waren etwa folgende Ergebnisse:<\/p>\n