DeepFly3D, la mosca robot

Gli scienziati hanno sviluppato un software di acquisizione del movimento basato sull’apprendimento profondo che utilizza viste multiple della telecamera per modellare i movimenti di una mosca tridimensionale.

L’obiettivo è utilizzare questa conoscenza per progettare una “mosca robotica“. Questo segna un primo passo verso piccoli robot volanti autonomi.

“Pensa solo a cosa può fare una mosca”, afferma il professor Pavan Ramdya, il cui laboratorio presso l’Istituto Brain Mind dell’EPFL, con il laboratorio del Professor Pascal Fua presso l’Istituto di Informatica dell’EPFL, ha guidato lo studio.

Ci sono troppe creature tra cui scegliere sulla Terra, ma poche sono in grado di adattarsi a quasi tutti i tipi di superficie. Le mosche non sono esattamente affascinanti per gli umani, sono legate alle esperienze per niente belle della vita quotidiana. Ma c’è un percorso inaspettato verso la redenzione: i robot.

“Le mosche possono aderire a pareti e soffitti perché hanno cuscinetti adesivi e artigli sulla punta delle gambe, il che consente loro praticamente di andare ovunque. È interessante perché se possono riposare su qualsiasi superficie, gestendo il dispendio energetico e aspettando il momento giusto per agire”.

DeepFly3D, la mosca robot

È stata questa visione, i principi che regolano il comportamento delle mosche, a guidare lo sviluppo di DeepFly3D, un sistema di motion capture per la mosca drosophila melanogaster (moscerino della frutta), un organismo modello che viene usato quasi onnipresentemente in biologia.

Per registrare ogni movimento e capire cosa li rende così efficaci è stato necessario eseguire un esperimento. In questo, un team specializzato con telecamere e un dispositivo di analisi noto come DeepFly3D, che circonda un singolo esemplare di mosca, ha catturato ogni punto di interesse che potrebbe aiutare a spiegare la scienza alla base del suo movimento.

Le immagini raccolte dalle telecamere vengono elaborate da DeepFly3D, un software di apprendimento profondo sviluppato da Semih Günel, uno studente di dottorato che lavora con i laboratori di Ramdya e Fua.

Il ruolo della neuroscienza

“Sfruttando l’informatica e le neuroscienze, abbiamo affrontato una sfida di vecchia data”.

La particolarità di DeepFly3D è che può inferire la posa 3D della mosca, o anche altri animali. Il che significa che può prevedere ed eseguire automaticamente misurazioni comportamentali con una risoluzione senza precedenti per una varietà di applicazioni biologiche.

Non è necessario calibrare manualmente il software! Utilizza le immagini della telecamera per rilevare e correggere automaticamente eventuali errori commessi nei calcoli della postura di volo. Infine, utilizza anche l’apprendimento attivo per migliorare le proprie prestazioni.