Все новости

В трех российских школах эмоции учеников полгода анализировал компьютер. Зачем?

© Yuganov Konstantin/Shutterstock/FOTODOM
Рассказываем о прошедшем эксперименте — и о технологии, которая за ним стоит

В январе 2018 года два пермских подростка пришли в школу с ножами. Они зашли в кабинет труда и стали наносить удары — сперва учительнице, а затем и всем, кто попадался под руку. Пострадали 15 человек. Позже на следствии парни не смогли объяснить причины своего поступка. Оба росли во внешне благополучных семьях. Но выяснилось, что оба состояли в группах, посвященных расстрелам в американской школе "Колумбайн". 

После этого случая власти Перми объявили о создании системы мониторинга, которая позволила бы выявлять детей с психологическими проблемами и работать с ними. Первые же результаты в рамках тестирования показали, что "признаки неблагополучия" есть у 8% детей. Причем, подчеркнули в администрации края, были выявлены и те, кого педагоги не относили к группе риска.

Один из способов выявлять проблемы у детей, который рассматривают власти, — с помощью автоматики. Программа, подключенная к камере, выявляет выражения на лицах и по ним определяет состояние ребенка. В пилотном режиме подобная технология уже работает в Китае, помогая педагогам следить за концентрацией учеников. В Перми в конце 2019 — начале 2020 года провели собственный эксперимент. Рассказываем, на чем основана технология и какими оказались первые результаты.

От профайлинга — к школьной психологии

За разработку отвечала местная компания "Ньювижин". Ее основатель Ольга Заречная, психолог и психиатр по образованию, долго занималась оценкой персонала и бизнес-тренингами. А около пяти лет назад решила: некоторые задачи специалиста можно автоматизировать. Например, обучить программу анализировать лицо кандидата по определенным критериям, а затем выдавать заключение. Так к команде присоединился Зураб Сичинава, который защитил кандидатскую диссертацию по "нейросетевым алгоритмам анализа поведения респондентов".

Первым продуктом компании стала система "биометрического профайлинга" для руководителей и HR-специалистов. Она анализировала фото и видеоматериалы кандидата или сотрудника и выдавала заключение о его личности, способностях и перспективах. Точность заключения проверялась с помощью стандартизированных психологических тестов и составила 82% (по утверждениям авторов). Разработки "Ньювижин" использовали, в частности, в Центре занятости Пермского края.

После инцидента в школе Ольге Заречной, по ее словам, пришла в голову идея. Если можно облегчить работу эксперта по кадрам, почему нельзя проделать то же самое с работой школьного психолога? "Часть работы психолога тоже включает диагностику, — объясняет она. — Но представьте, что у вас 600–1000 детей. В начале года нужно провести тестирование, потом обработать вручную все ответы. Полную картину по школе удается получить только ко второй четверти". А проблема, например конфликт с учителем, может вызревать постепенно.

В отличие от тестов, где человек сам оценивает себя, считывание выражений лица позволяет оценить со стороны, что с ним происходит. Если камера следит за человеком постоянно, от нее (по крайней мере в идеале) не укроются даже мелочи. Именно они могут дать ключ к психическому состоянию. Например, в США исследования с помощью системы компьютерного зрения MultiSense показали, что у людей в депрессии улыбка длится меньше, чем у людей, не имеющих отклонений в эмоциональном состоянии.

Проект "Ньювижин" "Умная и безопасная школа" получил поддержку комитета по социальной политике Пермской гордумы и совета ветеранов органов внутренних дел, был одобрен администрацией города и стартовал осенью 2019 года. В классах трех школ Индустриального района Перми установили камеры, которые постоянно на протяжении пяти месяцев снимали учеников во время занятий (один кадр в секунду), а программа анализировала кадры и формировала графики. По ним психологи и педагоги могли судить, какие состояния и на каких уроках у детей преобладают, какова динамика.

Как это работает?

Чтобы распознавать выражения на лицах, программа сперва обучается на большом массиве данных — тысячах фотографий или видеозаписей. Чем больше и разнообразнее выборка, тем меньше вероятность "осечки". На этапе обучения программе помогает специалист: он помечает, в каких случаях алгоритм справился с задачей, а в каких — нет.

Черты лица, на которые опирается алгоритм, — брови, глаза, губы, нос — размечаются точками (их может быть до 500). Разным выражениям лица соответствует определенное расположение точек. Чем больше точек и вариантов их расположения может распознать программа, тем она более чувствительна. Определив, программа сопоставляет их с признаками эмоций из шаблона и делает вывод о том, какая из них отражена на лице.

Еще в 1960-х годах психологи Пол Экман и Уоллес Фризел обратили внимание на то, что лицевые мышцы напрягаются определенным образом в зависимости от того, что чувствует человек. Происходит это непроизвольно. Например, при удивлении брови приподнимаются, глаза широко раскрываются, размыкаются губы. При страхе брови приподняты и слегка сведены к переносице; верхние веки также подняты, обнажая склеру, нижние веки напряжены; рот приоткрыт, а губы тоже слегка напряжены и оттянуты назад.

Разумеется, все оттенки выражений программа уловить не может. Но обычно это и не нужно. Чаще всего производителей интересует большой массив данных о том, как люди реагируют на определенные стимулы. Например, производит ли рекламный ролик нужное впечатление, комфортная ли обстановка в торговом центре. Важна статистика. Гораздо больше вопросов возникает, когда нужно оценить состояние одного человека. Тем более — принять решение на основании этой оценки.

Границы возможного

Первая сложность связана с тем, что эмоции не всегда проявляются на лице достаточно явно. Например, данные масштабного обзора технологий распознавания эмоций показывают, что в среднем люди хмурятся менее чем в 30% ситуаций, когда испытывают злость. Многое зависит от индивидуальности человека, предписаний и запретов культуры, к которой он относится: например, японцы гораздо менее ярко выражают гнев, чем американцы.

Другая сложность в том, что особенности лиц некоторых людей могут обманывать машину. В США даже придумали такое понятие, как "синдром стервозного лица" (bitchy resting face), которое обозначает особенности мимики человека, из-за которых он вечно кажется хмурым и недовольным. Программа, которая руководствуется шаблоном, будет помечать такое лицо более недовольным. Похожая история с нарушениями работы лицевых нервов.

Для тонкой эмоциональной диагностики разработчики стараются объединять данные из нескольких источников: лицо, тембр голоса, жестикуляция и движения. И лица — далеко не самый ценный из них. "Намного более информативны трекеры ЭЭГ, взгляда, пульса, температуры, — говорит Раиса Богачева, проектный менеджер группы компаний "Нейроботикс". — Необходимо соотносить данные нескольких видов анализа, например эмоциональное, жестовое и речевое поведение в контексте конкретной ситуации".

Наконец, эмоцию нельзя правильно интерпретировать без контекста. Машина может считать улыбку, но это будет просто улыбка. "Даже если мы знаем, на что человек смотрит, когда улыбается, мы можем только гадать о смысле этой реакции, — говорит психолог Юлиана Гранская. — Может, увиденное его насмешило или растрогало. А может, ему вспомнилось что-то смешное или трогательное. Машина не сможет залезть человеку в голову и прочесть его мысли".

Помощник или надсмотрщик?

Пример неоднозначной реализации такой технологии есть. Это Китай. 

В одной из школ провинции Ханчжоу с 2018 года идет эксперимент, похожий на тот, что был в Перми. На уроке за детьми наблюдают три камеры, каждые 30 секунд делают снимок, а данные в режиме реального времени выводятся на учительский монитор. Программа показывает семь эмоций: радость, грусть, злость, разочарование, испуг, удивление и спокойствие. Также она оценивает концентрацию ребенка по его движениям. Если ученик отвлекся, учителю приходит оповещение. По итогам анализа формируется оценка "включенности" в урок.

Судя по отзывам детей, осознание того, что за тобой следят, действительно дисциплинирует. "Раньше на уроках, которые мне не слишком нравились, я мог лениться, смотреть на стол, ковыряться в учебниках, — рассказал журналистам один из учеников. — Теперь же так не сделаешь — за мной постоянно наблюдают камеры. Они похожи на таинственные глаза, которые постоянно смотрят на меня". Обратная сторона такого самоконтроля — стресс. Другой ученик поделился, что теперь он не осмеливается даже зевнуть в классе из-за боязни наказания.

Благодаря системе, по словам директора, выросла эффективность учебного процесса: "Преподаватели смогут корректировать свои методы, опираясь на собранную информацию. Мы постоянно обсуждаем атмосферу в классе, решаем, как еще можно вовлечь детей в процесс". Правда, пока это только слова — точных данных по результатам эксперимента еще не публиковали.

Эксперты уже отмечают, что подобная практика вызывает много сомнений. И дело не только в техническом несовершенстве, а в самой концепции. Хэ Шаньюнь, доцент кафедры образования Чжэцзянского университета, считает, что внедрение алгоритмов компьютерной оценки может снизить чувствительность педагога. "Класс — это экосистема, куда каждый ученик привносит свою культуру, семейные ценности и опыт. Машина этого учесть не может. Есть опасность, что реальный контакт с детьми будет подменен анализом данных".

"Риски учтены"

В "Ньювижин" соглашаются с тем, что делать выводы на основании сиюминутных показаний — плохая идея. "Наша система учитывает только динамику: каким было состояние ребенка на протяжении недели, как оно менялось ото дня ко дню, от урока к уроку", — объясняет Ольга Заречная. Только если программа показала необычно долгие периоды гнева или отвращения, а также "пики" негативных эмоций на определенных предметах, появляется повод для реакции психолога.

Но как понять, что "необычно" для конкретного ребенка. Разработчики предусмотрели и это. "Для кого-то весь день проводить с улыбкой нормально, а кто-то всегда как будто грустный сидит, — объясняет разработчик Зураб Сичинава. — Может быть, для него весь день не улыбаться — это нормально. Тут вдруг он стал резко улыбаться. Или человек 40% времени улыбается, а через месяц у него получилось не 40%, а 20%".

Данные не интерпретируются произвольно — это еще одна страховка от ошибок. "Мы со специалистами из Центра психолого-педагогической, медицинской и социальной помощи разработали рекомендации, — рассказывает Ольга Заречная. — В них прописано, например, что, если система показывает в течение недели доминирование отрицательной эмоции, психологу следует в трехдневный срок провести с учеником беседу. И только по итогам этой беседы он может принять решение: есть проблема или нет, стоит ли подключать родителей и других специалистов".

В целом, по словам Заречной, система выявляет две группы риска. К первой относятся те дети, у кого программа показала стойкое преобладание негативных эмоций за определенный период времени. Отчет по этим данным попадает к психологу. Во второй группе — дети, у которых есть какие-то необычные проявления. Например, негативная эмоция возникает только на определенном уроке. В этом случае с ним работает уже классный руководитель, который вместе с учителем-предметником выясняет, что могло пойти не так.

Отдельно решался вопрос защиты персональных данных. Для их обработки нужно было получить согласие от родителей. "Проводились родительские собрания, где мы объясняли и показывали, как работает наша система, — говорит Зураб Сичинава. — Детей тех, кто не согласился (таких было меньшинство), мы не загружали в базу данных. При работе система их просто не распознавала". От камер на сервер компании данные поступали только в виде кода. Даже в случае взлома получить сведения о конкретных учениках не получится, подчеркнул разработчик.

Только начало?

Российская система действовала в школах только пять месяцев — из-за начавшейся пандемии детей перевели на дистанционное обучение. По итогам эксперимента сейчас готовятся отчеты и статьи, но кое-какими результатами разработчики уже поделились. По словам Ольги Заречной, главная ценность отчетов системы в том, что они позволили увидеть скрытые проблемы. Например, в одном случае негативная динамика выявила у ребенка конфликт с учителем-предметником. Учитель продолжал ставить двойки, но ни он, ни ребенок ничего не сообщали. О конфликте никто не знал.

С выводами Заречной соглашается Ирина Петрова — директор лицея №8, где проводился эксперимент. "Главное — мы смогли увидеть на этих графиках то, что не заметили бы в обычной работе. Дети же достаточно скрытны, даже если у них какая-то проблема. И здесь мы можем не просто проводить диагностику, а оказывать адресную помощь. Это индивидуальный подход, к которому мы стремимся". Еще одно преимущество системы, которое оценили в администрации школ, — возможность "держать руку на пульсе". Ведь показатели системы, в отличие от ощущений, наглядны и могут быть задокументированы, что важно для отчетности.

В администрации Перми эксперимент тоже оценили положительно. С нового учебного года система будет продолжать работу в тех школах, где ее тестировали. Участие других школ обсудят отдельно в начале следующего года. У разработчиков уже есть мысли, как развить проект. Например, добавить возможность мониторинга настроения ребенка для родителей, создать личный кабинет для работы педагогов с отчетами системы.

Антон Солдатов