Deep3DFly: a forma de aprendizado profundo para projetar robôs semelhantes a mosca

Resumo: Uma nova mosca robótica, apelidada de Deep3DFly, usa aprendizado ativo para melhorar seu desempenho.

Fonte: EPFL

“Basta pensar no que uma mosca pode fazer”, diz o professor Pavan Ramdya, cujo laboratório no Brain Mind Institute da EPFL, com o laboratório do professor Pascal Fua no Institute for Computer Science da EPFL, liderou o estudo. “Uma mosca pode escalar um terreno que um robô com rodas não seria capaz de fazer.”

As moscas não são exatamente cativantes para os humanos. Nós os associamos corretamente a experiências menos que apetitosas em nossa vida diária. Mas existe um caminho inesperado para a redenção: robôs. Acontece que as moscas têm alguns recursos e habilidades que podem informar um novo design para sistemas robóticos.

“Ao contrário da maioria dos vertebrados, as moscas podem escalar quase todos os terrenos”, diz Ramdya. “Eles podem grudar em paredes e tetos porque têm adesivos e garras nas pontas das pernas. Isso permite que eles basicamente vão a qualquer lugar. Isso também é interessante porque, se você puder descansar em qualquer superfície, poderá gerenciar seu gasto de energia esperando o momento certo para agir. ”

Foi essa visão de extrair os princípios que governam o comportamento das moscas para informar o design de robôs que impulsionou o desenvolvimento do DeepFly3D, um sistema de captura de movimento para a mosca Drosophila melanogaster, um organismo modelo que é quase onipresente na biologia.

Na configuração experimental de Ramdya, uma mosca anda em cima de uma pequena bola flutuante – como uma esteira em miniatura – enquanto sete câmeras registram todos os seus movimentos. O lado superior da mosca é colado em um palco imóvel para que fique sempre no lugar ao caminhar sobre a bola. No entanto, a mosca “acredita” que está se movendo livremente.

As imagens coletadas da câmera são então processadas pelo DeepFly3D, um software de aprendizado profundo desenvolvido por Semih Günel, um estudante de PhD que trabalha com os laboratórios de Ramdya e Fua. “Este é um bom exemplo de onde uma colaboração interdisciplinar era necessária e transformadora”, diz Ramdya. “Aproveitando a ciência da computação e a neurociência, enfrentamos um desafio de longa data.”

Isso mostra Deep3DFly
Projeto de conceito de robôs-mosca. A imagem é creditada a P. Ramdya, EPFL.

O que é especial sobre o DeepFly3D é que ele pode inferir a pose 3D da mosca – ou mesmo de outros animais – o que significa que ele pode prever e fazer medições comportamentais automaticamente em uma resolução sem precedentes para uma variedade de aplicações biológicas. O software não precisa ser calibrado manualmente e usa imagens da câmera para detectar e corrigir automaticamente quaisquer erros que faça nos cálculos da pose da mosca. Finalmente, ele também usa o aprendizado ativo para melhorar seu próprio desempenho.

DeepFly3D abre uma maneira de modelar com eficiência e precisão os movimentos, poses e ângulos articulares de uma mosca de fruta em três dimensões. Isso pode inspirar uma maneira padrão de modelar automaticamente poses 3D em outros organismos também.

“A mosca, como organismo modelo, equilibra muito bem a tratabilidade e a complexidade”, diz Ramdya. “Se aprendermos como ele faz o que faz, podemos ter um impacto importante na robótica e na medicina e, talvez o mais importante, podemos obter esses insights em um período de tempo relativamente curto.”

Financiamento: Microsoft (projeto JRC), Swiss National Science Foundation (bolsa Eccellenza), EPFL (bolsa iPhD) e Swiss Government Excellence Postdoctoral Scholarship financiaram este estudo.

Sobre este artigo de pesquisa em neurociência

Fonte:
EPFL
Contatos de mídia:
Nik Papageorgiou – EPFL
Fonte da imagem:
A imagem é creditada a P. Ramdya, EPFL.

Veja também

Isso mostra uma mulher com uma máscara

Pesquisa original: Acesso livre
“DeepFly3D, uma abordagem baseada em aprendizagem profunda para rastreamento 3D de membros e apêndices em Drosophila adulta amarrada”. Semih Günel, Helge Rhodin, Daniel Morales, João H. Campagnolo, Pavan Ramdya, Pascal Fua.
eLife doi: 10.7554 / eLife.48571.

Resumo

DeepFly3D, uma abordagem baseada em aprendizado profundo para rastreamento 3D de membros e apêndices em Drosophila adulta amarrada

Estudar como os circuitos neurais orquestram os comportamentos dos membros requer a medição precisa das posições de cada apêndice no espaço tridimensional (3D). Redes neurais profundas podem estimar pose bidimensional (2D) em animais de comportamento livre e amarrados. No entanto, os desafios exclusivos associados à transformação dessas medições 2D em poses 3D confiáveis ​​e precisas não foram abordados para pequenos animais, incluindo a mosca, Drosophila melanogaster. Aqui apresentamos DeepFly3D, um software que infere a pose 3D de Drosophila adulta amarrada usando imagens de várias câmeras. O DeepFly3D não requer calibração manual, usa estruturas pictóricas para detectar e corrigir erros de estimativa de pose automaticamente e usa aprendizado ativo para melhorar o desempenho de forma iterativa. Demonstramos incorporação comportamental não supervisionada mais precisa usando ângulos de articulação 3D em vez de dados de pose 2D comumente usados. Assim, o DeepFly3D permite a aquisição automatizada de medições comportamentais da Drosophila em um nível de detalhe sem precedentes para uma variedade de aplicações biológicas.

Sinta-se à vontade para compartilhar estas Notícias Neurotech.

Leave a Reply

Your email address will not be published. Required fields are marked *