Все новости

Нейронная сеть захватила движения мух и жирафов. Разработка студентов из Принстонского университета позволяет получить motion-capture-модель любого животного прямо из видеозаписи

Ученые из Принстона создали программу для создания motion-capture-моделей животных. Ей не нужны камеры и датчики на конечностях — достаточно любой видеозаписи и десяти первых кадров.

Технология motion-capture, или захват движений, используется для создания спецэффектов в кино и играх. С ее помощью движения актера оцифровываются, чтобы их можно было использовать для создания трехмерных компьютерных моделей. Так делали, например при создании Голлума для «Властелина колец»: на актера, который его играл, Энди Серкиса, надели датчики, которые снимали движения его конечностей и мимических мышц.

Анди Серкис и Голлум. nature video / Youtube
Описание
Анди Серкис и Голлум. nature video / Youtube

Идея использовать нейросети для снятия движения с животных «по видео» пришла в голову двум студентам, которые изучали использование нейросетей в обработке данных о поведении животных. Засидевшись допоздна в лаборатории, будущие разработчики решили попробовать использовать нейронную сеть для обработки своих данных — видеозаписи брачного ритуала у мушек-дрозофил.

В результате им удалось разработать алгоритм для обработки движений мух, обходящийся без датчиков, которые было бы очень непросто закрепить на каждой мушиной лапке, голове и крыльях. Для работы их программы, LEAP (LEAP Estimates Animal Pose), нужно взять десять первых кадров видеозаписи и поставить для нейросети маркеры на концах движущихся частей тела животного, используя графический интерфейс, причем для дрозофилы потребовалось всего 32 метки. Десяти кадров достаточно, чтобы нейросеть «поняла», как муха движется, и отслеживала ее движения на видео какой угодно длины с точностью 74% в пределах 2,5 пиксела. Если для обучения использовать 100 кадров, точность составит 95%.

Разработчики проверили LEAP на других животных — мышах и жирафе, кроме того, они использовали видеозаписи мух со сложным для распознания фоном (сеткой позади мух), и каждый раз программа справлялась с задачей. Для обработки видео с жирафом авторы расставили метки на 30 кадрах, и весь процесс занял меньше часа.

Courtesy of the Murthy Lab and Shaevitz Lab, Princeton University
Описание
Courtesy of the Murthy Lab and Shaevitz Lab, Princeton University

По словам авторов работы, программа позволяет обойтись без датчиков, множества камер и многочасовой покадровой обработки видео, а чтобы ей пользоваться, не обязательно иметь навыки программирования. С помощью разработки можно будет изучать поведение животных в разных ситуациях и в разном состоянии — например, для анализа поведения животных с генетическими мутациями или после воздействия препаратов во время экспериментов.

Авторы выложили код и утилиты в свободный доступ.

 Максим Абдулаев