Blog

Nov 24, 2023

Scopri il ragionamento e lo strumento automatizzati

Large language models can swiftly adapt to new tasks utilizing in-context

I modelli linguistici di grandi dimensioni possono adattarsi rapidamente a nuovi compiti utilizzando l’apprendimento contestuale ricevendo alcune demo e istruzioni linguistiche reali. Ciò evita di ospitare LLM o di annotare set di dati di grandi dimensioni, ma presenta importanti problemi di prestazioni con il ragionamento in più fasi, la matematica, la disponibilità delle informazioni più recenti e altre cose. Ricerche recenti suggeriscono di fornire agli LLM l'accesso a strumenti per facilitare fasi di ragionamento più sofisticate o sfidarli a emulare una catena di ragionamento per il ragionamento in più fasi per alleviare questi vincoli. Tuttavia, è difficile adattare gli approcci consolidati per una ragione concatenata con l’utilizzo degli strumenti a nuove attività e strumenti; ciò richiede una messa a punto o un'ingegneria tempestiva specializzata per una particolare attività o strumento.

I ricercatori dell'Università di Washington, Microsoft, Meta, Università della California e Allen Institue of AI Research sviluppano il framework Automated Reasoning and Tool Usage (ART), che crea automaticamente scomposizioni (ragionamento in più fasi) per esempi di nuovi compiti, presentato in questo studio . ART estrae esempi di attività simili da una libreria di attività per consentire un'analisi di alcuni scatti e l'utilizzo degli strumenti per ulteriori lavori. Questi esempi utilizzano un linguaggio di query flessibile ma strutturato che semplifica la lettura delle fasi intermedie, la sospensione della creazione per utilizzare strumenti esterni e il riavvio una volta incluso l'output di tali strumenti (Figura 1). Inoltre, il framework sceglie e utilizza gli strumenti più adatti (come motori di ricerca ed esecuzione del codice) in ogni fase.

Il LLM riceve demo da ART su come scomporre istanze di varie attività correlate e su come scegliere e utilizzare qualsiasi strumento dalla libreria di strumenti rappresentata in questi esempi. Ciò aiuta il modello a generalizzare dagli esempi per suddividere nuove attività e utilizzare gli strumenti giusti per il lavoro, zero-shot. Inoltre, gli utenti possono aggiornare le librerie di attività e strumenti e aggiungere esempi recenti secondo necessità per correggere eventuali errori nella catena logica o aggiungere nuovi strumenti (ad esempio, per l'attività in questione).

Creano una libreria di attività per 15 attività BigBench e testano ART su 19 attività di test BigBench mai viste prima, 6 attività MMLU e numerose attività provenienti dalla ricerca sull'utilizzo degli strumenti pertinenti (SQUAD, TriviaQA, SVAMP, MAWPS). Per 32 dei 34 problemi BigBench e tutte le attività MMLU, ART corrisponde o supera regolarmente le catene di ragionamento CoT create dal computer, in media, di oltre 22 punti percentuali. Quando gli strumenti sono consentiti, le prestazioni nelle attività di test aumentano in media di circa 12,3 punti percentuali rispetto a quando non lo sono.

In media, ART supera i suggerimenti diretti con pochi colpi sia sui compiti BigBench che MMLU del 10,8% di punti percentuali. ART supera del 12,5% i suggerimenti diretti su compiti invisibili che richiedono ragionamento matematico e algoritmico e supera i risultati GPT3 più noti, inclusa la supervisione per la scomposizione e l'utilizzo degli strumenti, del 6,1% in punti percentuali. L'aggiornamento delle librerie di attività e strumenti con nuovi esempi consente l'interazione umana e il miglioramento del processo di ragionamento, rendendo incredibilmente semplice aumentare le prestazioni in un determinato lavoro con un input umano minimo. Su 12 attività di test, ART supera i risultati GPT3 più noti di una media di oltre il 20% di punti quando viene fornito un feedback umano aggiuntivo.

Dai un'occhiata aCartaEPagina del progetto . Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre, non dimenticare di iscrivertiil nostro subReddit da 16k+ ML,Canale Discordia, ENewsletter via e-mail, dove condividiamo le ultime notizie sulla ricerca sull'intelligenza artificiale, interessanti progetti sull'intelligenza artificiale e altro ancora.

Aneesh Tickoo è una stagista consulente presso MarktechPost. Attualmente sta conseguendo la laurea in scienza dei dati e intelligenza artificiale presso l'Indian Institute of Technology (IIT), Bhilai. Trascorre la maggior parte del suo tempo lavorando su progetti volti a sfruttare la potenza dell'apprendimento automatico. Il suo interesse di ricerca è l'elaborazione delle immagini ed è appassionato di costruire soluzioni attorno ad essa. Ama entrare in contatto con le persone e collaborare a progetti interessanti.