Все новости

Нейронная сеть захватила движения мух и жирафов. Разработка студентов из Принстонского университета позволяет получить motion-capture-модель любого животного прямо из видеозаписи

Ученые из Принстона создали программу для создания motion-capture-моделей животных. Ей не нужны камеры и датчики на конечностях — достаточно любой видеозаписи и десяти первых кадров.

Технология motion-capture, или захват движений, используется для создания спецэффектов в кино и играх. С ее помощью движения актера оцифровываются, чтобы их можно было использовать для создания трехмерных компьютерных моделей. Так делали, например при создании Голлума для «Властелина колец»: на актера, который его играл, Энди Серкиса, надели датчики, которые снимали движения его конечностей и мимических мышц.

Анди Серкис и Голлум
Описание
Анди Серкис и Голлум

Идея использовать нейросети для снятия движения с животных «по видео» пришла в голову двум студентам, которые изучали использование нейросетей в обработке данных о поведении животных. Засидевшись допоздна в лаборатории, будущие разработчики решили попробовать использовать нейронную сеть для обработки своих данных — видеозаписи брачного ритуала у мушек-дрозофил.

В результате им удалось разработать алгоритм для обработки движений мух, обходящийся без датчиков, которые было бы очень непросто закрепить на каждой мушиной лапке, голове и крыльях. Для работы их программы, LEAP (LEAP Estimates Animal Pose), нужно взять десять первых кадров видеозаписи и поставить для нейросети маркеры на концах движущихся частей тела животного, используя графический интерфейс, причем для дрозофилы потребовалось всего 32 метки. Десяти кадров достаточно, чтобы нейросеть «поняла», как муха движется, и отслеживала ее движения на видео какой угодно длины с точностью 74% в пределах 2,5 пиксела. Если для обучения использовать 100 кадров, точность составит 95%.

Разработчики проверили LEAP на других животных — мышах и жирафе, кроме того, они использовали видеозаписи мух со сложным для распознания фоном (сеткой позади мух), и каждый раз программа справлялась с задачей. Для обработки видео с жирафом авторы расставили метки на 30 кадрах, и весь процесс занял меньше часа.

По словам авторов работы, программа позволяет обойтись без датчиков, множества камер и многочасовой покадровой обработки видео, а чтобы ей пользоваться, не обязательно иметь навыки программирования. С помощью разработки можно будет изучать поведение животных в разных ситуациях и в разном состоянии — например, для анализа поведения животных с генетическими мутациями или после воздействия препаратов во время экспериментов.

Авторы выложили код и утилиты в свободный доступ.

 Максим Абдулаев