В прошлом году мы запустили проект по распознаванию ручных операций для автоматизации оценки практических медицинских навыков.
Задача - автоматизировать процесс контроля правильности выполнения типовых операций, выполняемых медицинским персоналом, насколько это возможно. Сейчас в оценке знаний основную роль играет эксперт-медик, который следит за правильностью выполнения действий. Наша цель - в идеале добиться полностью автоматического контроля действий персонала.
За год мы достигли многого. Собрали большие коллекции реальных видеозаписей экзаменов для разных медицинских навыков (более 300 записей) с симуляторов ТьюторМЭН (кстати, работает на разработанном нами софте).
- Разработали и реализовали архитектуру решения, а именно подобрали и скомпоновали модели нейронных сетей для решаемых задач (CNN, RNN), проработали вопрос аугментации обучающих выборок.
- Разработали утилиты и максимально автоматизировали трудоемкий процесс разметки изображений и видео.
- Разметили кучу кадров и видео.
- Провели множество итераций обучения нейросетей и их проверки на контрольных датасетах.
На текущий момент мы научились автоматически распознавать 26 действий при выполнении внутривенной инъекции. Помимо относительно простых для распознавания действий по подготовке материалов (положил бикс на стол, достал антисептик, бикс с шариками, шприц и прочее), мы научились детектить более сложные манипуляции. Для распознавания действий "извлечение пинцетом лотка из стерильной упаковки", "оборачивание подушечки одноразовой салфеткой", "обработка антисептиком ватных шариков" не достаточно только CNN моделей. Здесь как раз используется RNN-модель нейронной сети с LSTM-слоем, которая на вход получает результат работы CNN-модели YOLOv4 на каждом кадре.
Помимо прочего довольно остро стоял вопрос производительности системы (Сможем ли мы поспевать за студентом?). В результате нехитрых экспериментов мы выяснили, что можем обрабатывать видео 1080p при 25 FPS в режиме, близком к реальному времени. Разумеется, не без помощи видеокарт NVidia. Начинали работы мы с GTX 1060 и GTX 1070 Ti, а потом успели до ажиотажа с майнингом по адекватной цене купить пару RTX 2070.
Сейчас запускаем пилот на симуляторе в симуляционном центре медицинского факультета МГУ с реальными студентами. Параллельно продолжаем размечать видео и обучать модели для покрытия большего числа действий и медицинских процедур.