Технология motion-capture, или захват движений, используется для создания спецэффектов в кино и играх. С ее помощью движения актера оцифровываются, чтобы их можно было использовать для создания трехмерных компьютерных моделей. Так делали, например при создании Голлума для «Властелина колец»: на актера, который его играл, Энди Серкиса, надели датчики, которые снимали движения его конечностей и мимических мышц.
Идея использовать нейросети для снятия движения с животных «по видео» пришла в голову двум студентам, которые изучали использование нейросетей в обработке данных о поведении животных. Засидевшись допоздна в лаборатории, будущие разработчики решили попробовать использовать нейронную сеть для обработки своих данных — видеозаписи брачного ритуала у мушек-дрозофил.
В результате им удалось разработать алгоритм для обработки движений мух, обходящийся без датчиков, которые было бы очень непросто закрепить на каждой мушиной лапке, голове и крыльях. Для работы их программы, LEAP (LEAP Estimates Animal Pose), нужно взять десять первых кадров видеозаписи и поставить для нейросети маркеры на концах движущихся частей тела животного, используя графический интерфейс, причем для дрозофилы потребовалось всего 32 метки. Десяти кадров достаточно, чтобы нейросеть «поняла», как муха движется, и отслеживала ее движения на видео какой угодно длины с точностью 74% в пределах 2,5 пиксела. Если для обучения использовать 100 кадров, точность составит 95%.
Разработчики проверили LEAP на других животных — мышах и жирафе, кроме того, они использовали видеозаписи мух со сложным для распознания фоном (сеткой позади мух), и каждый раз программа справлялась с задачей. Для обработки видео с жирафом авторы расставили метки на 30 кадрах, и весь процесс занял меньше часа.
По словам авторов работы, программа позволяет обойтись без датчиков, множества камер и многочасовой покадровой обработки видео, а чтобы ей пользоваться, не обязательно иметь навыки программирования. С помощью разработки можно будет изучать поведение животных в разных ситуациях и в разном состоянии — например, для анализа поведения животных с генетическими мутациями или после воздействия препаратов во время экспериментов.
Авторы выложили код и утилиты в свободный доступ.
Максим Абдулаев