Blog

Nov 16, 2023

DeepAction: un toolbox MATLAB per la classificazione automatizzata del comportamento animale nei video

Scientific Reports volume 13,

Rapporti scientifici volume 13, numero articolo: 2688 (2023) Citare questo articolo

1309 accessi

1 Altmetrico

Dettagli sulle metriche

L'identificazione del comportamento animale nei video è un compito critico ma dispendioso in termini di tempo in molte aree di ricerca. Qui presentiamo DeepAction, uno strumento basato sul deep learning per annotare automaticamente il comportamento degli animali nei video. Il nostro approccio utilizza funzionalità estratte da fotogrammi video grezzi da una rete neurale convoluzionale preaddestrata per addestrare un classificatore di rete neurale ricorrente. Valutiamo il classificatore su due set di dati di riferimento sui roditori e un set di dati sui polpi. Mostriamo che raggiunge un'elevata precisione, richiede pochi dati di addestramento e supera sia l'accordo umano che la maggior parte dei metodi esistenti comparabili. Creiamo inoltre un punteggio di confidenza per l'output del classificatore e dimostriamo che il nostro metodo fornisce una stima accurata delle prestazioni del classificatore e riduce il tempo richiesto dagli annotatori umani per rivedere e correggere le annotazioni prodotte automaticamente. Rilasciamo il nostro sistema e la relativa interfaccia di annotazione come toolbox MATLAB open source.

La classificazione e l'analisi del comportamento animale nei video è un processo onnipresente ma spesso laborioso nella ricerca sulle scienze della vita. Tradizionalmente, tali analisi venivano eseguite manualmente. Questo approccio, tuttavia, soffre di diversi limiti. La cosa più ovvia è che ciò richiede ai ricercatori di dedicare gran parte del loro tempo al noioso lavoro di annotazione comportamentale, limitando o rallentando il progresso delle analisi a valle. In particolare per i laboratori senza assistenti di ricerca o annotatori retribuiti, il costo opportunità dell'annotazione dei video può essere piuttosto elevato. L'annotazione manuale soffre inoltre di riproducibilità e affidabilità relativamente scarse1,2,3, in gran parte a causa della limitata capacità di attenzione degli annotatori umani. Questo problema è particolarmente rilevante negli studi che coinvolgono roditori. A causa della loro natura notturna, i roditori vengono preferibilmente studiati con luce attenuata o infrarossa4, il che rende più difficile l'identificazione dei comportamenti a causa di segnali di luce e colore più limitati. Ciò, a sua volta, aumenta l'affaticamento degli annotatori e riduce la loro capacità di prestare attenzione per periodi prolungati, introducendo variazioni nella qualità delle annotazioni, diminuendo così la qualità dei dati comportamentali5.

Considerati i limiti di tempo e precisione dell’annotazione manuale, un crescente lavoro si è concentrato sulla creazione di metodi per automatizzare il processo di annotazione. Molti di questi metodi si basano sul tracciamento dei corpi degli animali4,6,7,8,9 o di parti del corpo10, da cui vengono estrapolate caratteristiche di livello superiore (ad esempio velocità, accelerazione e postura) e utilizzate per classificare il comportamento. Jhuang et al.7, ad esempio, hanno utilizzato caratteristiche di movimento e traiettoria per addestrare una macchina vettoriale di supporto Markov nascosta a classificare otto classi di comportamento del topo. Burgos-Artizzu et al.6 hanno utilizzato caratteristiche spaziotemporali e di traiettoria e un modello di contesto temporale per classificare il comportamento sociale dei topi utilizzando due visualizzazioni della telecamera. Tuttavia, gli approcci che utilizzano queste "caratteristiche artigianali" sono limitati in diversi modi11. In primo luogo, richiedono che i ricercatori identifichino insiemi di caratteristiche che comprendano l'intero repertorio comportamentale di un dato animale e possano distinguere tra comportamenti visivamente simili. Ad esempio, i comportamenti di "mangiare" e "pulire il muso" nei roditori non presentano una differenza ben definita nella postura o nel movimento4, rendendo difficile la creazione di caratteristiche per differenziarli. In secondo luogo, dopo aver selezionato le caratteristiche, rilevarle e monitorarle è difficile e imperfetto. Piccoli cambiamenti nell'illuminazione video, nel movimento degli animali e nell'ambiente possono comportare un rilevamento impreciso dei punti chiave, diminuendo la fedeltà delle caratteristiche estratte. In terzo luogo, i set di funzionalità selezionati sono spesso specifici dell'esperimento. Quelli ottimali per uno studio sui roditori stabulati singolarmente, ad esempio, probabilmente differiscono da quelli ottimali per uno studio sui roditori sociali. Ciò aumenta la complessità dell'attività di selezione delle caratteristiche, impedendo il progresso sperimentale e l'accuratezza delle annotazioni.