Прогнозирование ежедневной деятельности при помощи глубокого обучения

Ученые из Технологического института штата Джорджия, США, разработали методологию, использующую глубокое обучение для прогнозирования ежедневной деятельности человека – при помощи изображений, полученных с переносного видеорегистратора с видом от первого лица. Подробнее с работой можно ознакомиться здесь.

Аннотация

Исследователи представляют метод анализа изображений, полученных путем съемки на переносной видеорегистратор с видом от первого лица, а также дополнительной контекстной информации, такой как время и день недели. Метод позволяет изучать и прогнозировать ежедневную деятельность человека.

Ученые располагали набором данных из 40,103 фотографий с видом от первого лица, сделанных в течение 6 месяцев. Данные, подразделенные на 19 классов (по виду деятельности), демонстрируют преимущества современных подходов к прогнозированию человеческой деятельности.

Классификация была произведена при помощи сверточной нейронной сети (СНС) и разработанного метода, получившего название множество позднего слияния (late fusion ensemble). Этот ансамбль включает в себя релевантную контекстуальную информацию и повышает точность классификации – общий показатель точности прогнозирования вида деятельности составляет 83,07%. Также исследователи демонстрируют многообещающие результаты настройки классификатора с обучающими данными, собранными за один день.

Детали исследования и результаты

Возможность автоматически отслеживать человеческое поведение в естественной среде и делать выводы может быть весьма полезна в таких сферах как медицина и персональный консалтинг. Популярные в последнее время переносные видеорегистраторы с видом от первого лица способны предоставлять объективную информацию о ежедневной деятельности человека – и сегодня, когда видеорегистраторы еженедельно снимают тысячи снимков, крайне важно оптимизировать и персонализировать процесс анализа и классификации изображений.

Примерами ежедневной деятельности могут служить готовка, просмотр ТВ-программ, времяпрепровождение с семьей и так далее. Известно, что шаблоны поведения имеют сильную корреляцию с хроническими заболеваниями, поэтому объективное отслеживание и анализ ежедневной деятельности исключительно важны для современной медицины. Для того, чтобы оценить предлагаемый метод, исследователи составили набор данных из 40,103 изображений, иллюстрирующих ежедневную деятельность обычных людей. Набор данных состоит из 19 категорий деятельности и собирался одним человеком на протяжении полугода «в полевых условиях».

paper_figure

Используя изображения от первого лица и контекстную информацию о дате/времени, предлагаемая методология дает достаточно высокий показатель точности классификации (то есть определяет, в какую из 19 категорий деятельности попадает то, что человек делает в любой момент) – 83,07%. Классификационный метод основан на комбинации сверточных нейронных сетей (СНС) и случайного дерева решений (СДР) и использует так называемое множество позднего слияния. Метод приспособлен для работы именно с изображениями, снятыми через равные промежутки времени, а не с видео-материалами – такая информация занимает много места, а ее использование на данный момент представляет трудности, которых можно избежать, работая с фотографиями.

Вкратце, исследователи предлагают:

• Надежный фреймворк для сбора и аннотирования изображений, полученных с переносного видеорегистратора.

• Так называемое множество позднего слияния и метод работы с ним, основанный на СНС и СДР, который позволяет определять локальные и глобальные признаки изображения и инкорпорировать контекстуальные метаданные (дата и время).

• Многообещающий подход к генерализации и настройки обученной модели для использования другими людьми с минимальным количеством дополнительных данных и аннотированием. Также ученым удалось точно определить, какое количество данных необходимо собрать первому пользователю для обучения классификатора и какое количество данных необходимо для настройки классификатора последующим пользователям.

Добавить комментарий

Ваш e-mail не будет опубликован.

закрыть

Поделиться

Отправить на почту
закрыть

Вход

закрыть

Регистрация

+ =