Notizia

Nov 18, 2023

I ricercatori di Stanford presentano Parsel: un framework AI di intelligenza artificiale che consente l'implementazione e la convalida automatica di algoritmi complessi con modelli linguistici di codice di grandi dimensioni LLM

Though recent advances have been made in large language model (LLM) reasoning,

Sebbene siano stati compiuti recenti progressi nel ragionamento LLM (Large Language Model), i LLM hanno ancora difficoltà con compiti di ragionamento gerarchico in più fasi come lo sviluppo di programmi sofisticati. I programmatori umani, a differenza di altri generatori di token, hanno (di solito) imparato a scomporre compiti difficili in componenti gestibili che funzionano da soli (modulari) e lavorano insieme (compositivi). Come bonus, se i token generati dall’uomo causano problemi con una funzione, dovrebbe essere possibile riscrivere quella parte del software senza influenzare il resto dell’applicazione. Al contrario, si prevede ingenuamente che i LLM di codice produrranno sequenze di token prive di errori.

Ciò ha spinto un recente studio della Stanford University a esaminare l’utilizzo dei LLM nella scomposizione dei problemi e nella costruzione di soluzioni compositive. Propongono Parsel, un compilatore che accetta una specifica che include descrizioni di funzioni scritte in linguaggio naturale e vincoli che definiscono il comportamento desiderato delle funzioni implementate. Utilizzando Parsel, i programmatori possono scrivere programmi in linguaggio semplice in grado di affrontare problemi di codifica a livello di concorrenza, superando il precedente SoTA di oltre il 75%.

A un codice LLM viene fornita la descrizione di una funzione e le firme delle funzioni da cui dipende e gli viene chiesto di generare implementazioni della funzione. Quando viene aggiunto un vincolo, il compilatore esaminerà le possibili combinazioni di implementazione finché non ne troverà quella che funziona.

Studi precedenti hanno dimostrato che, a differenza degli esseri umani, i modelli del linguaggio del codice non sono in grado di sviluppare programmi che eseguono in sequenza numerosi piccoli compiti. Parsel elimina il problema suddividendo i processi di scomposizione e implementazione. Sebbene intendessero abilitare la codifica in linguaggio naturale, hanno scoperto che gli LLM eccellono anche nella codifica Parsel.

Scomporre un piano astratto fino a quando non può essere risolto automaticamente è un modello comune nel ragionamento umano riflesso nella generazione e implementazione di Parsel; questa struttura compositiva è utile anche per i modelli linguistici. In questo studio, il team dimostra che gli LLM possono creare Parsel da un numero limitato di istanze e che le loro soluzioni superano i metodi all'avanguardia su questioni a livello di concorrenza dal set di dati APPS. I piani scritti da LLM che utilizzano Parsel per produrre piani robotici passo-passo da lavori di alto livello sono, cosa interessante, più di due terzi accurati di una linea di base di pianificazione zero-shot.

Per valutare l'efficacia di Parsel, Gabriel Poesia, un esperto programmatore competitivo, lo ha utilizzato per risolvere una serie di sfide APPS tipicamente riscontrate nelle competizioni di codifica. In 6 ore, ha trovato soluzioni a 5 problemi su 10, inclusi 3 su cui GPT-3 aveva precedentemente fallito.

I ricercatori dimostrano che Parsel può essere utilizzato per la dimostrazione di teoremi e altre attività che richiedono un ragionamento algoritmico formulandolo come un quadro di riferimento generale.

Prevedono di implementare la generazione di test unitari autonomi nel prossimo futuro. Dicono che un approccio potrebbe essere quello di cercare situazioni speciali e vedere se il gruppo di funzioni che sono d'accordo su tutti i test esistenti è d'accordo anche su eventuali nuovi test. Si evita lo sviluppo esponenziale delle combinazioni implementative, che potrebbe rendere possibile la scomposizione automatica. Mirano anche ad abbassare la "soglia di confidenza" del modello linguistico, poiché è necessario mantenere le descrizioni chiare e concise per programmi o sezioni di programmi più cruciali ed è necessario assicurarsi che le descrizioni siano chiare e concise.

Dai un'occhiata aCarta,Github,EPagina del progetto. Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre, non dimenticare di iscrivertiil nostro subReddit da 13k+ ML,Canale Discordia, ENewsletter via e-mail, dove condividiamo le ultime notizie sulla ricerca sull'intelligenza artificiale, interessanti progetti sull'intelligenza artificiale e altro ancora.

Tanushree Shenwai è uno stagista consulente presso MarktechPost. Attualmente sta conseguendo il suo B.Tech presso l'Indian Institute of Technology (IIT), Bhubaneswar. È un'appassionata di Data Science e nutre un vivo interesse per l'ambito di applicazione dell'intelligenza artificiale in vari campi. È appassionata di esplorare i nuovi progressi nelle tecnologie e la loro applicazione nella vita reale.