Технологии дополненной реальности, применяемые при выполнении работ по ТОиР оборудования с ЧПУ. Часть 1.

Дополнительная реальность — это технология, позволяющая накладывать виртуальные объекты поверх реальных.

В 2017 году технологии виртуальной ( VR) и дополненной (AR) реальности вошли в перечень важнейших цифровых технологий, ставших основополагающими Программы "Цифровая экономика РФ".

В рамках данной статьи я расскажу о применении технологий дополненной реальности для решения задач по повышению эффективности работы оборудования с ЧПУ за счет повышения эффективности работы служб ТОиР оборудования на предприятиях машиностроения.
С технологией дополненной реальности AR я познакомился в начале 2000-х годов. В это время я приобрел автомобиль модели SAAB и техническое обслуживание проходил в специализированном центре в городе Тольятти, который проводил ТОиР автомобиля по технологии AR. Меня заинтересовала данная технология и возможности ее применения при ТОиР оборудования с ЧПУ на предприятии. В дальнейшем я начал собирать информацию о применении технологий AR на ведущих предприятиях станкостроения Европы в части работы удаленной диагностики оборудования. Часть полученной информации пригодилось при создании системы мониторинга технического состояния узлов станков с ЧПУ. Оптимизация изучения регламентных работ и состав устройств на различных моделях станков с ЧПУ устранены за счет создания комплексного программного обеспечения. Достоверная трехмерная модель узлов станка и самого станка в цифровой среде позволяет рассматривать детали узлов и сами узлы станков или соответствующие операции тех. процесса ТОир. Кроме модели в цифровой среде используется версия дополненной реальности наложения виртуального объекта на реальный, при этом ремонтник получает наглядную инструкцию по узлу и станку в целом и расположение элементов управления.

Многие предприятия, особенно зарубежные, уже доказали, что технология VR/AR является эффективным инструментом цифровой трансформации производства и служб ТОиР оборудования. В России наибольшее развитие данные технологии получили в нефтегазовой сфере экономики.

 1. История создания технологии AR.

1901 год:
Первое задокументированное упоминание идеи дополненной реальности в романе Лаймона  Фрэнка Баума “Главный ключ”.
1957 год:
Кинематографист Морт он Хейлиг создал Сенсораму – первый в мире виртуальный симулятор.
1962 год:   
Морт он Хейлиг запатентовал Сенсораму.

1967 год: 
Айвен Сазерленд описал и сконструировал первый шлем, изображение на который генерировалось с помощью компьютера. Первой реализацией виртуальной реальности считается "кинокарта Аспена", созданная в Массачусетском Технологическом Институте в 1977 году. Эта компьютерная программа симулировала прогулку по городу Аспен, штат Колорадо, давая возможность выбрать разными способами отображения местности. Летний и зимний варианты были основаны на реальных фотографиях.

1968 год:   
Айвен Сизерленд создал “Дамоклов меч” –   первый шлем виртуальной реальности.
1974 год:   
Майрон Крюгер построил Vidioplace-лабораторию искусственной реальности.
1982 год: 
Дополненная реальность в первые используется на телевидении в виде интерактивной системы Дона Рейгана для прогноза погоды.

В 90-е годы поиск новых способов использования продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров. Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе.
Дальше развитие происходило стремительно. Скачок, сделанный в производстве микропроцессоров, и, как следствие, во всем технологическим секторе, позволил сильно ускорить работы.

1990 год: 
Изобретена CuberCode - первая система дополненной реальности на основе двухмерных меток.
1998 год:
Американская Ассоциация Национальной лиги начинает использовать в трансляциях систему
В 1993-м году в университете штата Колумбия Стив Файнер представил систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, переводится примерно, как «Интерактивный помощник по обслуживанию»), позволявшую через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

1999 год:
НАСА применила систему дополненной реальности в приборной панели космического корабля Х-38.
2000 год:
Хиракидзу Като разработал AR NoolRit-открытую библиотеку для работы с дополнительной реальностью.
2009 год:
Появилась FLARToolKit-открытая система для ввода AR контента в браузер.
2012 год:
Начато публичное тестирование очков дополненной реальности Google Glass.
2018 год:
Томская компания “Rubius” совместно с компанией "Цифра" представила проект: виртуальный помощник для ремонта и обслуживания станков с ЧПУ.
2021 год:
Производитель «Стан» и «Ростех» представили на выставке “Металлообработка-2021” платформу для ремонта и обслуживания станков в дополненной реальности.       
2022 год: 
Пилотное внедрение в России AR технологии при создании костюма реабилитации мышц человека после инсульта. 

2. Состав оборудования систем дополненной реальности.

Если не вдаваться в технические подробности, то такие системы состоят из аппаратной и программной частей.
К аппаратной части относятся средства обеспечения виртуального присутствия, удаленного ремонтника на рабочем месте – таким средством может быть планшет, смартфон или специальные очки. Сюда же стоит отнести прочую ИТ-инфраструктуру вместе с корпоративным сервером и любым другим оборудованием, участвующим в передаче данных.
На нижерасположенном рисунке я показал возможную аппаратную составляющую систем дополненной реальности.

Устройства (телефон, планшет) с программным обеспечением дополнительной реальности, оснащённые камерами.

2.1.     Очки виртуальной реальности, которые проецируют на реальное изображение те данные, которые необходимы ремонтнику в данный момент, будь то схемы либо порядок проведения ремонтных работ, место возможной неисправности или серийный номер детали под замену.

Очки, применяемые в технологии дополненной реальности, разделяются на:

2.1.1. Очки, использующие в качестве источника ауди-видео информации мобильный телефон.
Принцип работы:
На дисплее мобильного устройства, вставленного в гарнитуру с помощью использования специального приложения, отражается стереоскопическая картинка, разделенная на части для левого и правого глаза. Она проецируется через линзы на глаза, создавая эффект погружения. При просмотре объектов временной реальности смартфон отслеживает положение с помощью акселерометра и гироскопа и меняет картинку на экране. Таким образом достигается эффект присутствия.

2.1.2.  Очки, использующие в качестве источника аудио-видео информации  промышленный планшет или компьютер.
Принцип работы:
Фото, видео выводятся на встроенный экран, при этом изображение делится на две части, чтобы создать эффект трёхмерного пространства. Шлемы снабжаются аудио-видео гарнитурой с 3-D эффектом. Это позволяет полностью отвлечься от реального мира и погрузиться в фантастическую обстановку. Благодаря многочисленным датчикам, обзор в виртуальном пространстве происходит благодаря привычными движениями головы или рук.

2.2.      Метки дополнительной реальности (изображения, части оборудования и обстановки.

2.3.     Распознаваемое программное обеспечение.
В то же время, программная часть может значительно различаться в зависимости от конкретного производителя. Программная часть, как правило, уникальна для каждого проекта, в настоящее время не существует единой или хотя бы нескольких основных платформ, принятых разработчиками в качестве стандарта.
В настоящие время разработано большое количество программных приложений для работы технологий AR. Наиболее часто применяется программная платформа Фреймворк, определяющая структуру программной системы, включающей в себя следующие программные модули:

2.3.1.        AForge.Imaging — обработка изображений и набор различных фильтров;
2.3.2.        AForge.Vision — набор методов и алгоритмов компьютерного зрения;
2.3.3.        AForge.Video — обработка видеопотока;
2.3.4.        AForge.Neuro — построение и работа с нейронными сетями;
2.3.5.        AForge.Genetic — набор генетических алгоритмов;
2.3.6.        AForge.Robotics — специальный набор методов для применения в области робототехники;
и ряда других.

3. Как это работает?

3.1.     Программное обеспечение отображает вместо метки дополнительной реальности 3D-анимацию объекта в движении. Медиа контекст (видео-аудио инструкции, тестовые подсказки, чертежи, схемы и т.д.).
3.2.     Изображение на экране телефона, очков виртуальной реальности, планшетов перемещается с перемещением объекта или пользователя.

4. Что такое AR в промышленности?

Дополненная реальность в промышленности — это, в первую очередь, инструмент получения удаленной помощи от специалистов, которые не могут физически приехать на место действия. На нижерасположенном рисунке показана схема работы дополненной реальности.

Как работает технология AR

Способ создания дополненной реальности во всех случаях такой:

• камера AR-устройства фиксирует изображение реального объекта;
• программное обеспечение устройства идентифицирует полученное изображение и выбирает визуальное дополнение, ему соответствующее;
• программа объединяет реальное изображение с виртуальным и отображает конечное изображение на устройстве визуализации.

5. Роль AR технологий на производстве.

Сохранение и увеличение эффективности работы оборудования является одной из приоритетных задач для производства. Для ее решения все чаще применяются современные продвинутые технологии, в том числе и технологии дополнительной реальности (AR).
Пандемия COVID-19, СВО на Украине стали дополнительным стимулом к развитию рынка промышленных AR-решений. Значительно вырос спрос на решения типа «удаленный помощник», цифровые двойники производств, тех. процессов, оборудования, узлов оборудования с элементами VR/AR и тренажеры, которые можно было бы использовать без дорогих специализированных устройств и датчиков.

Промышленные предприятия применяют технологию для информационного сопровождения операторов, автоматизации технического обслуживания и ремонта оборудования. С помощью технологии можно разместить комплекс сигнальных устройств, изображений оборудования и его внутренних связей (мнемосхему) в режиме наложения на контролируемом реальном объекте. Она также позволяет создавать анимированные сцены сборочно-разборочных операций элементов конструкции, тем самым снижая количество отказов оборудования по вине персонала. Кроме того, технология дает возможность оперативно решать сложные задачи за счет проведения онлайн-сессии с удаленным экспертом, управлять оборудованием и фиксировать отчеты. При внедрении AR наблюдается сокращение вспомогательного времени на выполнение операций сменного задания до 30%, а количество ошибок может снизиться до 80%.

6 . Актуальные проблемы ТОиР оборудования.

Сегодня на производстве существует ряд сложностей, связанных с эффективностью выполнения процессов ТОиР.
Во-первых, это отсутствие актуальной и объективной информации для планирования ТОиР. Данные об активах производства не собираются напрямую от оборудования и распределены по несвязанным базам данных. В результате возникают сложности при принятии решений по оценке рисков и управлению активами.
Во-вторых, отмечается низкая эффективность использования EAM, ERP и MES систем. Информация об актуальном состоянии оборудования не вводится или вводится с задержкой в ручном режиме без системной интеграции. Это препятствует формированию полной стратегии обслуживания оборудования.
Кроме того, на многих производственных предприятиях применяется устаревший подход к планово-предупредительным ремонтам. Существующие стандарты включают в себя заранее завышенные нормы для анализа данных, оценки текущего состояния оборудования, прогноза остаточного ресурса и ввода данных. Это не позволяет экономить ресурсы и приводит к избыточным затратам на сборочно-разборочные и другие операции ТОиР.

Все эти факторы приводят к росту аварийности оборудования на предприятиях, увеличению количества оборудования, работающего с отклонениями от паспортных данных, увеличению затрат на операции ТОиР и снижению производительности труда. Становится очевидной необходимость автоматизации ТОиР и создания базы инженерных знаний по каждому станку производства. Применение технологии дополненной реальности может решить эти задачи. 

7.  AR технологии технологии в ремонтном производстве при выполнении ТОиР оборудования.

Большое развитие AR технологии получили в виде комплексного решения для служб технического обслуживания оборудования, как концепция  «Мобильный ТОиР" и "Мобильный обходчик".

Предлагаемая комплексная система направлена на решение следующих задач, возникающих в повседневной работе персонала сервисных служб:
7.1.  большой объем оборудования;
7.2.  сложность контроля за выполнением задач, неопределенное качество выполнения осмотров, пропуски дефектов;
7.3.  сложность в оформлении и анализе собранной информации в результате осмотров и Технического обслуживания;
7.4.  отсутствие структурированной истории отказов и ТО в удобном доступе;
7.5.  необходимость вручную отслеживать даты технического обслуживания;
7.6.  неудобство работы с бумажной технической документацией, отсутствие доступа к документации из места проведения работ по ТОиР.

8. Возможности приложения ServiceVizor для решения задач ТОиР.

Одним из основных приложений, относящихся к работе AR технологий в ремонтном производстве является приложение ServiceVizor, разработанное с помощью платформы промышленного Интернета вещей PTC ThingWorx и платформы дополненной реальности PTC Vuforia, которая поддерживает большой набор функций – от базовых возможностей формирования заявок на выполнение работ и планирования всех видов обслуживания до специализированных функций выполнения операций ТОиР в режиме AR, управления электронной структурой оборудования, разработки 2D/3D- контента и интеграции со смежными производственными системами. Система может эффективно встраиваться в существующей сети информационных технологий (ИТ)/операционных технологий (ОТ) и масштабироваться на все оборудование.

ServiceVizor представляет собой типовое платформенное решение, требующее минимальной адаптации на предприятии. Кроме того, система имеет инструментарий, позволяющий развивать ее силами ИТ-специалистов производства. В результате предприятие получает возможность анализировать ключевые показатели производительности для корректировок программ производства продукции, модернизации и ремонта оборудования; совершенствовать бизнес-процессы ТОиР; самостоятельно разрабатывать новые функциональные приложений и контент ТОиР и применять новые современные технологии Индустрии 4.0 для построения цифровой экосистемы предприятия.

9.   AR технологии в ремонтном производстве при выполнении ТОиР оборудования на предприятиях ОПК.

Тысячи единиц оборудования участвуют в технологических процессах на заводах ВПК. За тем, чтобы каждое из этих оборудований работало как часы, пристально следят работники служб ТОиР оборудования. И если раньше все данные приходилось собирать в офлайн-режиме, то сейчас собирать и передавать их, можно не отходя от самого оборудования: с помощью системы, разработанной на основе AR технологий (специального мобильного приложения, электронного взрывозащитного девайса, web-интерфейса, дашбордов и NFC-меток) в процессе проведения ТОиР оборудования. 

Реализация этого комплексного ИТ-решения помогает специалистам-ремонтникам собирать, фиксировать и передавать информацию об оборудовании при выполнении осмотров, а руководителям, в свою очередь, – планировать осмотры, составлять график работы, получать доступ к актуальной информации о ходе теперь на привычный технический осмотр ремонтники отправляются со специальным мобильным устройством (где позволяют условия секретности). Этот гаджет отныне становится основным рабочим инструментом ремонтника: он содержит маршрутную карту, план расположения оборудования, полную информацию о количестве и качестве технических осмотров, а также служит площадкой для оперативного взаимодействия с экспертами, чат ботом, техническим персоналом службы ТОиР.

При этом на маршрутной карте есть несколько моделей оборудования, к которым ремонтник обязательно должен подойти и отметиться, считав установленную NFC-метку – своего рода электронный код. 

Так же ремонтник при выполнении осмотров состояния оборудования может работать  с отчетностью. С помощью мобильного устройства (где это возможно из условий секретности предприятия) ремонтник также может зафиксировать состояние оборудования или замечания, тут же отправив их в базу данных АСУ ТОиР. Просматривая результаты осмотров руководитель отдела ТОиР принимает решение об устранении дефекта на месте либо перенаправляет замечание в централизованную ремонтную службу. Также новая система позволяет фотографировать дефекты. 

Промышленному предприятию, использующему в качестве основных средств производства технологическое оборудование, система позволяет:

9.1.     Определить текущее состояние актива. Это дает возможность ускорить реагирование на поломки и сократить время простоев до 30%, своевременно запланировав работы по диагностике и ТО. Единая база знаний и статистика по отказам в ServiceVizor позволяет службе ТОиР контролировать работы, имея оперативную картину о состоянии оборудования. 

9.2.     Повысить достоверность контрольных осмотров и качество сервисных работ. ServiceVizor предоставляет план осмотров, чек-листы, фотоотчеты в режиме AR. Ремонтник может определять места инспекций, а также фиксировать результаты осмотров и ремонтов. Они сохраняются в системе и доступны для проверки и расследования инцидентов. В результате время реагирования на поломки сокращается, а 30-50%.

9.3        Сформировать базу инженерных знаний по техническому обслуживанию каждого оборудования, включая вспомогательные справочники потребляемых ресурсов при выполнении операций. ServiceVizor позволяет хранить историю обслуживания и ремонтов. 

9.4.     Обеспечивать удаленную экспертную помощь в сложных и нештатных ситуациях, а также интерактивное взаимодействие со службой ТОиР благодаря онлайн-сессиям в режиме AR. Это позволит снизить отказы оборудования по вине персонала до 20%.

9.5.     Связать данные смежных учетных и технологических систем и отправлять информацию о результатах выполненных работ ТОиР для учета. 

 10. Промышленному предприятию-изготовителю технологического оборудования система дает возможность:

10.1. Автоматизировать управление жизненным циклом эксплуатации и обслуживания своих изделий. 
10.2.Фиксировать и расследовать инциденты, произошедшие с изделием во время его эксплуатации, а также предотвращать их возникновение.
10.3  Разрабатывать эксплуатационные интерактивные руководства для Заказчика и предоставлять удаленную помощь специалистов внутризаводской службы ТОиР для оперативного и квалифицированного решения вопросов.

Платформа ServiceVizor позволяет управлять производственными активами на всех этапах сервисных работ и решать целый спектр задач.

11. Алгоритм работы дополненной реальности и комплексного цифрового двойника
 

Алгоритм работы дополненной реальности и комплексного цифрового двойника выглядит следующим образом:
11.1. AR устройство анализирует видеопоток и распознает физический объект или контур по QR-коду;
11.2. При помощи IIoT платформы подключается к виртуальным моделям комплексного цифрового двойника актива;
11.3. Физических датчиков актива передаются на вход цифровому двойнику и дополняются смежными ИТ/ОТ системами;
11.4. IoT платформа извлекает информацию о состоянии актива и действиях по его обслуживанию из цифрового двойника;
11.5. Пользователь взаимодействует через AR-устройства с активом или экспертов, выполняя действия и фиксирую их выполнение;
11.6. Текущие значения контролируемых параметров, ход выполнения операций и команд.

11.7. Групповая работа мобильных сотрудников и ремонтных бригад с единым нарядом и с пошаговыми инструкциями. Возможность обмена сообщениями и комментариями между сотрудниками.
11.8. Возможность фото фиксации объекта обслуживания (фиксация текущего технического состояния, выполненных работ)
11.9. Сбор показаний по точкам измерений и передача в систему в режиме реального времени.
11.10. Фиксация дефектов с добавлением комментариев и фото, оперативная отправка информации в систему предприятия
11.11. Автоматическая фиксация выполнения задания, с фиксированием места и времени ремонта/обслуживания.
11.12. Списание времени и материалов при выполнении заказов
11.13. Возможность работы как в онлайн, так и в гибридном или оффлайн режиме
11.14. Возможность построения отчетности, сбора статистики для нормирования работ и планирования ремонтов
11.15.Возможность подключения периферийного оборудования (мобильный принтер).
11.16. Интеграция с широким кругом систем благодаря открытым форматам обмена.

12.Интеллектуальные системы поддержки принятия решений. База данных

Системы поддержки принятия решений — основа ИТ-инфраструктуры, поскольку эти системы дают возможность преобразовывать обширную информацию в ясные и полезные решения.
Основой для применяемых решений служит база данных под управлением системы управления базами данных (СУБД) и комплекса средств, технологий и способов взаимодействия пользователей в интернет-пространстве ( WEB)-приложений для доступа к данным базы данных АСУ ТОиР и АСУ Мониторинг. В WEBприложениях формируется доступ для разных специалистов с настраиваемым уровнем доступа в зависимости от должностных обязанностей.
База данных содержит все модели станков с ЧПУ с информацией о позиционировании привязкой к ним технической документации. Ремонтник получает доступ к основной информации и технической документации (паспорт, руководство по эксплуатации, тех. процессам ТОиР, истории отказов, результатам мониторинга и т.д.

Система из БД и WEB-клиента может бы дополнена мобильными устройствами с установленными приложениями.

Мобильное приложение системы - это приложение, разработанное для мобильных устройств под управлением операционной системы Android. Приложение обеспечивает работу пользователя в режиме офлайн без подключения к интернету.

Ремонтники, совершающие осмотр технологического оборудования, работают через мобильные устройства и стационарную сеть с установленным приложением, что обеспечивает:
12.1. Оперативный доступ к технической документации на место проведения ТОиР;
12.2. Постановку задач персоналу, реализация чек-листа осмотра, оперативная фиксация в системе результатов, геопозиционирование сотрудников;
12.3. Оперативное формирование отчетов, наряд-допусков в рамках системы, в том числе из "поля", переход на электронный документооборот.

12.4. Авторизация ремонтника осуществляется по индивидуальному логину и паролю;
12.5. В меню приложения ремонтник видит назначенные ему:
12.5.1. Заявки на выполнение работ;
12.5.2. Наряд-допуски, распоряжения на работу;
12.5.3.Фиксацию рабочего времени и выполняемых работ, геопозиционирование сотрудников.

12.6. Сотрудник имеет доступ к нужной технической документации;
12.7. Сотрудник может поменять статус назначенной заявки (взята в работу, отклонена, переправлена и т.д.)

12.8. Авторизация на технологическом объекте  происходит при сканировании NFC-метки. С этого момента ведется учет времени, затраченного на выполнение работы;
12.9. Наличие сценария выполнения задачи позволяет повысить производительность и качество выполнения работ.

13. Порядок работы системы дополненной реальности:

Предположим, в цеху вышло из строя какое-то оборудование, и ремонтнику необходимо
максимально оперативно определить и устранить причины неисправности для восстановления его работоспособности. Для снижения влияния человеческого фактора и обеспечения четкого следования регламенту ремонтов очки дополненной реальности смогут служить в качестве своеобразной портативной базы знаний об объекте с подгружаемой информацией из СУБД и других специализированных эксплуатационных систем (в частности, из АСУТОиР и АСУ Мониторинг).

Надев очки Microsoft HoloLens, инженер подходит к реальному оборудованию на объекте и диагностирует неисправность. Далее необходимо понять, какова же причина такой неисправности и как ее устранить: в каком порядке и какие действия выполнить без влияния на безопасность функционирования объекта в целом и без угрозы жизни человеку. Для этого инженер работает с моделью оборудования в AR-очках, то есть выбирает из виртуального меню (дополненная информация к реальному объекту) соответствующий пункт (в данном случае – Техническое обслуживание и ремонт) с указанием продиагностированной неисправности из перечня часто встречающихся. В зависимости от неисправности ему будет необходимо выполнить анимированную пошаговую инструкцию по выявлению и устранению причины неисправности.
Анимированная инструкция визуально подсказывает специалисту, о каком элементе оборудования идет речь, указывая на него красной стрелкой в очках дополненной реальности.

Следующий шаг в виртуальной инструкции возможно выполнить только в том случае, если инженер реально выполнил предыдущее действие. Таким образом обеспечивается своего рода контроль за надлежащим исполнением инструкции специалистом по сервисному обслуживанию и ремонту оборудования.

Устранив неисправность и восстановив работу оборудования, ремонтник ставит соответствующую отметку на модели с применением очков  дополненной реальности (например, "Причина неисправности устранена"), которая получит автоматическое отражение в СУИД и в ТОиР-системе. Таким образом, весь процесс сервисного обслуживания реализуется на месте, что обеспечивает его оперативность и высокое качество.
Так же ремонтник с помощью приложений может загрузить фото, видео, электронную подпись сотрудника, звуковые комментарии, при наличии связи Wi-Fi или 3G, 5G мобильные устройства синхронизируются с сервером и передают информацию в общую Базу данных системы.

На этом я заканчиваю обзорную часть статьи на тему “Технологии дополненной реальности, применяемые при выполнении работ по ТОиР оборудования с ЧПУ на машиностроительных предприятиях”.
Во второй части я познакомлю Вас с практическим примером использования технологий дополненной реальности на предприятиях ОПК, где запрещено использование мобильной связи.