{"id":19609,"date":"2024-04-10T11:49:11","date_gmt":"2024-04-10T09:49:11","guid":{"rendered":"https:\/\/www.m-q.ch\/?p=19609"},"modified":"2024-04-10T11:49:11","modified_gmt":"2024-04-10T09:49:11","slug":"come-la-scelta-delle-parole-da-parte-del-chatgpt-influenza-la-qualita-delle-risposte","status":"publish","type":"post","link":"https:\/\/www.m-q.ch\/it\/come-la-scelta-delle-parole-da-parte-del-chatgpt-influenza-la-qualita-delle-risposte\/","title":{"rendered":"Come la scelta delle parole influenza la qualit\u00e0 delle risposte in ChatGPT"},"content":{"rendered":"
\"\"
Le sfumature linguistiche nelle richieste possono causare qualit\u00e0 di risposta significativamente diverse nei LLM. (Immagine: Alexandra Koch \/ Pixabay.com)<\/figcaption><\/figure>\n

Iniziate i vostri messaggi di ChatGPT con un saluto amichevole? Avete chiesto che l'output sia in un formato specifico? O addirittura promettete un suggerimento per una risposta particolarmente buona? Gli utenti interagiscono con modelli linguistici di grandi dimensioni (LLM) come ChatGPT in vari modi, compresa l'etichettatura dei dati per compiti di apprendimento automatico. Ci sono poche risposte su come piccole modifiche a un prompt possano influenzare l'accuratezza di queste etichette.<\/p>\n

In che modo le varianti dei prompt modificano la qualit\u00e0 dell'output?<\/h3>\n

Abel Salinas, ricercatore presso la University of Southern California (USC), afferma: \"Ci affidiamo a questi modelli per cos\u00ec tante cose e richiediamo output in determinati formati, e ci chiediamo quale sia l'impatto effettivo delle variazioni nei prompt o nei formati di output. \u00c8 quello che volevamo scoprire\". Salinas e Fred Morstatter, professore assistente di informatica presso la Viterbi School of Engineering della USC e leader del team di ricerca dell'USC Information Sciences Institute (ISI), si sono posti la domanda: quanto sono affidabili le risposte dei LLM alle variazioni dei prompt? I loro risultati, pubblicati sul server di preprint arXiv, mostrano che sottili variazioni nelle richieste possono avere un impatto significativo sulle previsioni degli LLM.<\/p>\n

\"Salve, mi dia una lista e le dar\u00f2 una mancia di 1.000 dollari\".<\/h3>\n

I ricercatori hanno analizzato quattro categorie di varianti di prompt. In primo luogo, hanno esaminato gli effetti della richiesta di risposte in formati di output specifici comunemente utilizzati nell'elaborazione dei dati (elenchi, CSV, ecc.). In secondo luogo, hanno esaminato piccole modifiche al prompt stesso, come l'aggiunta di spazi supplementari all'inizio o alla fine del prompt o l'inserimento di frasi educate come \"Grazie\" o \"Ciao!\". In terzo luogo, hanno studiato l'uso di \"jailbreak\", cio\u00e8 di tecniche per aggirare i filtri di contenuto su argomenti sensibili come il riconoscimento di discorsi d'odio, ad esempio chiedendo all'LLM di rispondere come se fosse malvagio. Infine, ispirandosi all'idea diffusa che un LLM risponder\u00e0 meglio se gli viene offerta una ricompensa, hanno offerto \"mance\" di diversa entit\u00e0 per una \"risposta perfetta\".<\/p>\n

I ricercatori hanno poi testato le variazioni di prompt con 11 compiti di classificazione testuale di riferimento, ovvero insiemi di dati o problemi standardizzati utilizzati nella ricerca sull'elaborazione del linguaggio naturale (NLP) per valutare le prestazioni dei modelli. Questi compiti prevedono in genere la categorizzazione o l'etichettatura di dati testuali in base al loro contenuto o significato.<\/p>\n

I ricercatori hanno esaminato compiti come la classificazione della tossicit\u00e0, la valutazione grammaticale, il riconoscimento dell'umorismo e del sarcasmo, le abilit\u00e0 matematiche e altro ancora. Per ogni variante della richiesta, hanno misurato la frequenza con cui il LLM cambiava la sua risposta e l'effetto che questo aveva sull'accuratezza del LLM.<\/p>\n

Dire \"Ciao!\" influenza le risposte? S\u00ec!<\/h3>\n

I risultati dello studio hanno portato alla luce un fenomeno notevole: lievi cambiamenti nella struttura e nella presentazione del prompt possono influenzare in modo significativo le previsioni dell'LLM. Che si tratti dell'aggiunta o dell'omissione di spazi, di punteggiatura o di specifici formati di output dei dati, ogni variazione gioca un ruolo critico nel modellare le prestazioni del modello. Inoltre, alcune strategie di prompt, come gli incentivi o i saluti specifici, hanno mostrato miglioramenti marginali nell'accuratezza, evidenziando la relazione sfumata tra la struttura del prompt e il comportamento del modello.<\/p>\n

I risultati sono stati notevoli:<\/p>\n