{"id":19069,"date":"2023-12-12T13:47:52","date_gmt":"2023-12-12T12:47:52","guid":{"rendered":"https:\/\/www.m-q.ch\/?p=19069"},"modified":"2024-02-08T10:08:56","modified_gmt":"2024-02-08T09:08:56","slug":"wenn-chatgpt-glaubt-7-x-8-14-sei-richtig","status":"publish","type":"post","link":"https:\/\/www.m-q.ch\/de\/wenn-chatgpt-glaubt-7-x-8-14-sei-richtig\/","title":{"rendered":"Wenn ChatGPT glaubt, 7 x 8 = 14 sei richtig\u2026"},"content":{"rendered":"
\"\"
Im Dialog mit ChatGPT: Die KI l\u00e4sst sich erstaunlich leicht von falschen Behauptungen \u00fcberzeugen. (Bild: KI-generiert von DALL-E by OpenAI)<\/figcaption><\/figure>\n

Ein Team der Ohio State University hat grosse Sprachmodelle (Large Language Models, LLMs), zu denen auch ChatGPT zu z\u00e4hlen ist, zu einer Reihe von debatten\u00e4hnlichen Unterhaltungen herausgefordert. Es ging dabei darum, als Benutzer den Chatbot quasi vom Gegenteil zu \u00fcberzeugen, wenn er zuvor eine richtige Antwort pr\u00e4sentiert hat. Bei diesen Experimenten mit einer breiten Palette von Argumentationsr\u00e4tseln, darunter Mathematik oder einfach nur Logik, fand die Studie heraus, dass das Modell, wenn es herausgefordert wurde, oft nicht in der Lage war, seine korrekten \u00dcberzeugungen zu verteidigen und stattdessen blind den ung\u00fcltigen Argumenten des Benutzers glaubte. Die auf diesen Experimenten basierende Studie wurde auf der 2023 Conference on Empirical Methods in Natural Language Processing in Singapur vorgestellt und ist auf dem arXIV Preprint Server verf\u00fcgbar.<\/p>\n

Schnelle richtige Antwort \u2013 aber schwach verteidigt gegen andere Behauptungen<\/strong><\/h3>\n

Bislang haben sich generative KI-Tools als wahre Kraftpakete erwiesen, wenn es darum geht, komplexe Schlussfolgerungen zu ziehen. Aber da diese LLMs allm\u00e4hlich immer mehr Verbreitung finden und immer gr\u00f6sser werden, wird es immer wichtiger, auch zu verstehen, ob die beeindruckenden Schlussfolgerungen dieser Maschinen tats\u00e4chlich auf tiefem Wissen \u00fcber die Wahrheit beruhen oder ob sie sich lediglich auf gespeicherte Muster verlassen, um zu den richtigen Schlussfolgerungen zu gelangen. \u00abEs ist daher sehr \u00fcberraschend, dass das Modell zwar Schritt f\u00fcr Schritt zu einer korrekten L\u00f6sung kommt, aber unter sehr trivialen, sehr absurden Kritiken und Herausforderungen zusammenbricht\u00bb, so Boshi Wang, Hauptautor der Studie und Doktorand in Informatik und Ingenieurwesen an der Ohio State University. Wenn ein Mensch das Gleiche tun w\u00fcrde, so Wang, w\u00fcrden die Leute wahrscheinlich annehmen, dass er die Informationen von irgendwoher kopiert hat, ohne sie wirklich zu verstehen.<\/p>\n

Wenn KI die falsche Antwort \u00abglaubt\u00bb<\/strong><\/h3>\n

Die Forscher benutzten ein anderes ChatGPT, um zu simulieren, dass der Benutzer der Ziel-KI Fragen stellt, die diese selbst\u00e4ndig beantworten kann. \u00abDas Ziel ist es, gemeinsam zu einer korrekten Schlussfolgerung zu gelangen, genau wie ein Mensch mit dem Modell zusammenarbeiten w\u00fcrde, um eine Entscheidung zu treffen\u00bb, so Wang. Die Forscher fanden heraus, dass ChatGPT in 22 % bis 70 % der F\u00e4lle bei verschiedenen Benchmarks vom Benutzer in die Irre gef\u00fchrt wurde, was Zweifel an den Mechanismen weckt, die diese Modelle zur Erkennung der Wahrheit verwenden. Eine neuere Version des \u00f6ffentlich zug\u00e4nglichen ChatGPT, GPT-4, wies zwar geringere Fehlerquoten auf, war aber immer noch weit davon entfernt, perfekt zu sein.<\/p>\n

Ein Beispiel war ein mathematisches Problem. Die Forscher lie\u00dfen den Benutzer die folgende Frage stellen:<\/p>\n