Весь мир увлеченно ловит покемонов в игре Pokemon Go, демонстрируя новые возможности дополненной реальности. До этого бума дополненная реальность была не так известна, хотя специалисты давно разрабатывают эту тему. Использовать прорывные технологии можно в самых разных отраслях, в том числе в благотворительности, образовании, медицине. Сергей Матвеев, один из экспертов в этой области, основатель компании «ЭлигоВижн», занимающейся в том числе созданием систем виртуальной и дополненной реальности, рассказал «Филантропу», как работает принцип дополненной реальности и как использовать ее в социальной сфере.

— На примере увлечения покемонов давайте объясним, что такое дополненная реальность?

— Дополненная реальность (AR – Augmented Reality) – это интерактивная визуальная технология, которая позволяет «оживить» на экране гаджета особую метку (как правило, это рисунок или объект, а в случае с покемонами – это геолокационная точка в реальном мире), поместив поверх нее цифровой контент – например, 3D модель Покемона. Как только объект появляется на экране, с ним уже можно взаимодействовать через тач-скрин. Или же физическим перемещением этой метки перед камерой устройства.

В частности, Pokemon Go работает по геолокационным точкам, однако дополненная реальность чаще используется в связке с реальными объектами — метками. Например, на пустом столе мы можем выстроить в дополненной реальности целый город, или промоделировать колонию будущего, скажем, на Марсе.

Как? Очень просто.

В специальной программе – AR конструкторе – вы «связываете» 3D модели космической станции, марсохода, каких-то иных марсианских строений с плоскими картинками – метками. Затем выстраиваете сценарий, по которому они будут взаимодействовать друг с другом (например, марсоход будет двигаться в заданном направлении), и, наконец, выкладываете метки на стол и наводите на него планшет. И у вас на экране вырастают марсианские горы и кратеры, поверх метки строится трехмерная виртуальная станция, а на другой метке возникает 3D модель марсохода и начинает движение. В этом вручную созданном мире вы можете задать свои законы физики, и таким образом, промоделировать ситуацию, которую не сможете воссоздать на Земле.

— Когда появилась эта технология?

— Считается, что дополненная реальность появилась в 1990 году. Этот термин предположительно ввел в употребление технический специалист, исследователь компании Boeing – Том Кодел. Еще тогда внутри шлемов летчиков стали встраивать мини-дисплеи, на которые при помощи камеры и ПО можно было вывести дополнительную информацию. То есть фактически технология получила толчок к развитию благодаря военной отрасли.

Эта сфера развивается с тех самых лет и, конечно же, не только в военном деле, но и в медицине, в индустриальной сфере, в строительстве и особенно активно в гейм-индустрии, чему Покемоны стали отличным подтверждением.

— В какой момент технология из «закрытой» стала «открытой»? Когда произошел этот сдвиг от научных исследований к широкому потребителю?

— Одним из ключевых кейсов, который привлек к себе внимание общества лет пять назад, стал проект компании National Geographic. Они поставили в одном из торговых центров за рубежом огромный экран с камерой. Камера снимала зону торгового зала и всех посетителей. А на полу была наклеена большая метка с логотипом. И как только на эту метку вставал человек, к нему начинали подходить виртуальные животные: ягуар, динозавры, из воды выпрыгивали дельфины, над головами сгущались тучи и шел дождь. Посетители были в восторге, и этот проект потом еще долго «шагал» по планете. С тех пор и начался «бум» технологии и ее активное применение в рекламно-маркетинговых целях.

В России многие компании и музеи на этой волне реализовывали подобные активности. Конечно, основная цель таких проектов – это позитивные эмоции и одновременно связь с определенным брендом.

— А как используют дополненную реальность в музеях? 

— Похожий на National Geographic проект мы сделали в Музее естественной истории Татарстана в Казани. Животные, которые жили миллионы лет назад (шерстистый мамонт, саблезубый тигр) оживают на экране, и посетители могут как бы пообщаться с ними, погладить их. Такую возможность дает дополненная реальность. Посетитель музея видит на экране себя и «ожившее» животное, его реакцию на вас. К вам может подойти плейстоценовый кролик ростом больше метра и подняться на задние лапы, или возле ваших ног может вальяжно улечься саблезубый тигр.

Эта инсталляция работает в музее уже два года и до сих пор вызывает огромный восторг посетителей. Похожие инсталляции появились в Дарвиновском музее, Московском Планетарии и других крупных российских музеях.

— Ваша компания ведет активную социальную работу, вы недавно ездили в детский онкоцентр, бываете в детских домах. Вы учите ребят дополненной реальности?

— Мы сторонники того, что новые технологии должны быть доступны каждому ребенку, вне зависимости от того, где он находится. Например, недавно мы были в Мытищинском детском доме в рамках продвижения фестиваля «Нано-Город» — он как раз прошел в эти выходные.

У детей новые технологии, инновации всегда вызывают неподдельный интерес. Мы показывали ребятам из Онкоцентра имени Димы Рогачева, как создавать дополненную реальность, как делать собственные проекты, как можно использовать такие технологии. Обычно мы проводим целые мастер-классы по использованию нашего инструментария – конструктора для создания AR приложений EV Toolbox. С его помощью кто-то с легкостью оживляет фотографии, а кто-то – иллюстрации в учебнике, кому что больше интересно.

— Действительно, а как дополненная реальность может использоваться в образовании?

— Мы уже сотрудничаем со многими школами и ВУЗами. Совместно с педагогами мы разрабатываем учебно-методические комплексы. Например, к нам обращается учитель химии: «Нужно провести определенный опыт, но он опасен. Можно ли это сделать с помощью дополненной реальности?». Легко! Дополненная реальность помогает визуализировать любые явления, как на макро так и на микро уровне.

Казалось бы – можно просто посмотреть видеофильм с опытом. Но это не так интересно!

Дополненная реальность гарантирует интерактив. Дети сами участвуют в опыте. Ребенок не просто потребитель информации — он сам творец! Он сам с помощью специальных приложений делает этот опыт. И видит на практике свои ошибки. Приблизил не ту молекулу к химическому соединению – а реакция не происходит. Ошибка! И так далее.

Фантазия детей и педагогов ничем не ограничена. Так, к слову, можно оживлять, иллюстрации в книге. Возьмем сказки Пушкина. Дети делают какие-то модели или качают их из интернета, подбирают видеоролики, аудиофайлы, делают свои рисунки… Мы читаем книгу с устройством – допустим, телефоном. Наводим на иллюстрацию – и вдруг она оживает! Старик с неводом начинает двигаться, на картинке появился дополнительный рисунок или текст – который дополнительно что-то рассказывает, включается музыка, идет дикторский текст и так далее! Дополненная реальность оживляет книгу.

Мы все прекрасно понимаем, что дети очень любят гаджеты. Своими технологиями мы с помощью этих самых гаджетов возвращаем ребенка в реальный мир. Мобильное устройство становится приятным дополнением, а главное содержание остается за бумажными страницами старых добрых книг.

— Это уже действительно существует или только пока идеи на будущее?

— Не просто существует — дети сами придумывают, как можно использовать дополненную реальность. Из недавнего — мы участвовали в одном из московских конкурсов «Школа реальных дел» — с октября по апрель 2016 года, прошедший учебный год. У нас было несколько направлений «Детский сад будущего», «Школа будущего», «Библиотека и музей будущего» и «Образовательный квест». В рамках конкурса у школьников появляется возможность почувствовать себя взрослыми. Они создают команду и делают свой стартап – придумывают и реализуют продукт, продумывают стратегии его популяризации. А мы, как компания,– своеобразные работодатели для ребят.

Одна команда реализовала очень интересный концепт книг будущего, на страницах которых будет появляться увлекательное цифровое дополнение- то же самое, чем мы только что говорили, только выполнили это ребята из восьмого класса, не имеющие навыков программирования.

Другая команда сделала проект, когда дополненная реальность оживляет целые библиотечные стеллажи. Это Школа № 1874. Представьте, вы наводите гаджет на книжные полки и появляется «экскурсовод» — Чеширский кот, который проведет вас по стеллажам, расскажет про библиотечные книги.

Это не программисты, не специалисты, а обычные школьники, которые работали с дополненной реальностью всего несколько месяцев в течение этого конкурса. И они уже реализовали такие достойные проекты. Можно оценить перспективность этого направления — детям это нравится, им интересно, они быстро схватывают и генерируют идеи.

— Возвращаясь к науке и исследованиям, дополненная реальность сейчас все больше используется и в медицине?

— Да, и это просто прорывные вещи. Виртуальная и дополненная реальность активно используется в реабилитации. Скажем, человек перенес инсульт. С помощью этих технологий можно моделировать движения — например, передвигать предметы. В итоге пациент, заново учится двигать рукой, отрабатывая физиологически верные движения.

Зарубежные исследования показывают, что с помощью виртуальной и дополненной реальности можно уменьшить боль. В ожоговых центрах, например, вместо обезболивающих инъекций на больного надевается VR шлем, и он погружается в виртуальную реальность. В это время ему делают перевязки. И пациент действительно практически не чувствует боли. И никакой вредной для организма химии. Просто прекрасно, что современные технологии используются не только для игры, для развлечения – но и для решения серьезных задач.

В Германии давно работает программа прикладных исследований по использованию VR и AR технологий в медицине. Созданы виртуальные операционные, где студенты учатся делать операции на виртуальном человеке, при этом рядом присутствует преподаватель, которые отмечает допущенные ошибки и помогает их исправить. Это отличный эффективный тренинг.

Или, скажем, дополненная реальность становится незаменимой при сложных операциях. Врач видит через специальные очки или полупрозрачный экран, скажем, результаты томограммы пациента или изображение внутренних органов прямо на фоне тела пациента и одновременно делает операцию. Хирургу уже не надо отвлекаться на развешанные на стене снимки. Они у него перед глазами на экране очков. Он не ошибется ни на миллиметр.

То же самое в ортопедии. Когда делается наращивание костей или операция по сложным переломам, важно четко совместить кости. В кости ввинчиваются специальные маркеры. Врач при этом с помощью дополненной реальности видит в долях миллиметров насколько точно он совмещает кости пациента.

— А как можно использовать дополненную реальность в благотворительной сфере?

— Ну, например, для сбора денег, чем занимаются благотворительные фонды, можно использовать тех же Покемонов. Люди ловят их — или покупают что-то в своей игре — и часть средств отчисляется в определенные фонды. Или, скажем, пусть Покемоны отправятся в разные кафе или магазины – а ловцы Покемонов, конечно же, побегут в эти места, оставят там свои деньги, что-то поев или купив, а часть этих средств, опять же, может перечисляться в благотворительные фонды.

— Государство пока не финансирует подобные разработки?    

— Инновационный центр «Сколково», резидентами которого мы являемся, дает гранты на НИОКР. АСИ разрабатывает научно-технологические программы, которые получают финансовую поддержку государства. Однако пока размер финансирования этих разработок достаточно мал. Если за рубежом дополненная реальность уже активно используется в разных сферах жизни, то у нас пока на руках имеются потенциальные огромные возможности, но до массового внедрения еще не дошло. Надеюсь, благодаря Покемонам (и не только им), отношение государства к новым прорывным технологиям поменяется в лучшую сторону.