Ученые Microsoft Research создали алгоритмы, которые идентифицируют и описывают объекты на фотографиях. «Машину научили понимать изображение так, как это делает человек», — говорит Сяодонг Хэ (Xiaodong He), исследователь центра машинного обучения Microsoft Research. Система способна идентифицировать основные цвета, формы объектов и другие параметры подобно тому, как это делает человеческий мозг, и облекать результат в словесную форму.
По словам специалистов Microsoft, алгоритм распознает изображения поэтапно:
1. Конволюционная нейронная сеть подбирает варианты слов, которыми можно описать картинку.
2. Языковая модель генерирует текст на основе изображения и выбирает из созданного массива, наиболее подходящие для описания картинки слова.
3. Из полученных слов алгоритм создает таблицу, проставляя бал семантической связи слова и изображения, и выбирает наиболее высокий результат.
Ранее ученым не удавалось создать ничего подобного, но после задействования нейронных сетей произошел прорыв. Согласно прогнозам Хэ, изобретенная технология станет фундаментом для создания искусственного интеллекта, помогающего пользователю в обучении и повседневных делах.