Loading...
Publication
I N T E G R AT I N G D I G I TA L TW I N A N D A U G M E N T E D R E A L I T Y F O R M O N I T O R I N G , E D U C AT I O N A N D T R A I N I N G I N T H E M I N E R A L I N D U S T RY
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 33.71 MB | Adobe PDF |
Authors
Abstract(s)
This report explores the application of Digital Twin (DT) and Augmented Real ity (AR) technologies in addressing key challenges within the mineral industry,
including high operating costs, hazardous working environments, and resource
management. To achieve this, a solution leveraging the HoloLens 2 is proposed,
integrating real-time monitoring, educational content, and training for industrial
tasks. The developed system is structured into three interconnected layers—Factory
Environment, AR System, and Cloud Platform—which collectively facilitate the
extraction, visualization, and dissemination of data to users.
As part of this project, an initial Android AR application using Unity was
developed for the mining industry and tested in factory environment with real
factory worker users. This application served as the basis for the evolution of the
new AR-DT system, as it had already been validated for its monitoring capabilities
and educational content (text, audio, and video).
Based on this knowledge, the system was expanded to integrate AR with DT, using
HoloLens 2 for a more immersive experience. On the factory environment, real-time
data from the machines is monitored via OPC UA-compatible servers. This data is
subsequently made accessible on the AR glasses, providing users with contextual
information. In parallel, the Cloud Platform stores training content such as videos,
audio and text, as well as 3D objects used in training. The AR System bridges
the gap between physical and digital environments, enabling interactive training
where operators can interact with virtual replicas of machine parts, simulating the
real-time process monitoring and the machine’s educational training content, such
as manuals via text, audio and even tutorial videos, which contribute to improving
operational efficiency, safety and the development of workers’ skills.
To evaluate the effectiveness of this new approach, a usability evaluation was
conducted, focusing on user performance, cognitive load and the interface usability.
The results were promising, demonstrated by high task completion rates (between
81.8% and 100%), positive scores in usability tests carried out using the System
Usability Scale (SUS) (average of 72.4) and low levels of frustration, physical
demand and effort, as measured by NASA-TLX. The qualitative analysis, using the
VADER algorithm, confirmed a mostly positive reception of the AR technology, although some challenges in the interface were identified as opportunities for future
improvements.
In addition, an AR prototype was developed with a focus on preserving privacy
in industrial environments. The solution employs a client-server architecture, in
which the AR device diffuses images for remote processing, receiving them back with
sensitive regions (e.g. faces, screens) obfuscated via techniques such as Gaussian
blurring or pixelation. This prototype is the initial step towards the secure integration
of wearable systems in industrial contexts, laying the foundations for future advances
in harmonizing security and usability.
At the same time, the system includes a training module for assembling com puter components, designed as a proof of concept for industrial simulations. The
ultimate goal is to integrate real-time obfuscation with interaction during training,
guaranteeing data protection without compromising the user experience in AR
glasses.
These findings underscore the potential of the AR-DT system to enhance op erational efficiency, safety, and skills development within the stone industry. The
study’s outcomes suggest that such integrated AR-DT solutions could contribute
to advancing Industry 4.0 practices within the sector, potentially leading to more
efficient and safer industrial processes.
Este relatório investiga como as tecnologias Digital Twin (DT) e Realidade Aumen tada (AR) podem ajudar a enfrentar desafios da indústria mineral, como elevados custos operacionais, ambientes de trabalho perigosos e a gestão de recursos. Para isso, propõe-se uma solução baseada no uso do HoloLens 2, combinando monitorização em tempo real, conteúdos de formação e treino para tarefas industriais. O sistema desenvolvido estrutura-se em três camadas interligadas-Factory Floor, Sistema de AR e Cloud Platform—que, em conjunto, permitem a extração, visualização e entrega dos dados aos utilizadores. Como parte deste projeto, uma aplicação Android AR inicial usando Unity foi desenvolvido para a indústria mineral e testada chão de fábrica com utilizadores op erários reais de fábrica. Esta aplicação serviu como base para a evolução para o novo sistema AR-DT, pois já havia sido validado por suas capacidades de monitoramento e conteúdo educacional (texto, áudio e vídeo). Com base nesses conhecimentos, o sistema foi expandido para integrar AR com DT, utilizando o HoloLens 2 para uma experiência mais imersiva. No ambiente de fábrica, os dados em tempo real das máquinas são monitorados através dos servi dores compatíveis com OPC UA. Esses dados são posteriormente disponibilizados nos óculos de AR para fornecer informações contextuais. Paralalamente, a Cloud Platform armazena conteúdos de formação, como vídeos, áudio e texto, bem como objetos 3D utilizados em treinos. O Sistema de AR preenche a lacuna entre ambi entes físicos e digitais, permitindo treinamento interativo onde os operadores podem interagir com réplicas virtuais das peças da máquina, simulando o monitoramento de processos em tempo real e o conteúdo de formação educacional da máquina, como manuais por meio de texto, áudio e até vídeos tutoriais, que contribuem para melhorar a eficiência operacional, a segurança e o desenvolvimento de habilidades dos trabalhadores. Para avaliar a eficácia desta nova abordagem, foi realizada uma avaliação de usabilidade focada no desempenho dos usuários, na carga cognitiva e na usabilidade de uso da interface. Os resultados foram promissores, demonstrados por altas taxas de conclusão de tarefas (entre 81,8% e 100%), pontuações positivas nos testes de usabilidade feitos com recurso à escala System Usability Scale (SUS) (média de 72,4) e baixos níveis de frustração, demanda física e esforço, conforme medidos pela NASA-TLX. A análise qualitativa, utilizando o algoritmo VADER, confirmou uma recepção majoritariamente positiva da tecnologia de AR, embora alguns desafios na interface tenham sido identificados como oportunidades para futuras melhorias. Adicionalmente, desenvolveu-se um protótipo de AR com foco na preservação da privacidade em ambientes industriais. A solução emprega uma arquitetura cliente servidor, na qual o dispositivo de AR transmite imagens para processamento remoto, recebendo-as de volta com regiões sensíveis (ex: rostos, ecrãs) ofuscadas via técnicas como embaciamento gaussiano ou pixelização. Este protótipo constitui a etapa inicial para a integração segura de sistemas de AR em contextos industriais, estabelecendo bases para futuros avanços na harmonização entre segurança e usabilidade. Paralelamente, o sistema inclui um módulo de treino para montagem de compo nentes informáticos, concebido como prova de conceito para simulações industriais. O objetivo último consiste em integrar a ofuscação em tempo real com a interação durante o treino, garantindo a proteção de dados sem comprometer a experiência do utilizador nos óculos de AR. Em suma, as descobertas ressaltam o potencial do sistema AR-DT para otimizar a eficiência operacional, aumentar a segurança e promover o desenvolvimento de habilidades na indústria mineral. Os resultados sugerem que essas soluções integradas podem impulsionar o avanço das práticas da Indústria 4.0, contribuindo para processos industriais mais eficientes e seguros.
Este relatório investiga como as tecnologias Digital Twin (DT) e Realidade Aumen tada (AR) podem ajudar a enfrentar desafios da indústria mineral, como elevados custos operacionais, ambientes de trabalho perigosos e a gestão de recursos. Para isso, propõe-se uma solução baseada no uso do HoloLens 2, combinando monitorização em tempo real, conteúdos de formação e treino para tarefas industriais. O sistema desenvolvido estrutura-se em três camadas interligadas-Factory Floor, Sistema de AR e Cloud Platform—que, em conjunto, permitem a extração, visualização e entrega dos dados aos utilizadores. Como parte deste projeto, uma aplicação Android AR inicial usando Unity foi desenvolvido para a indústria mineral e testada chão de fábrica com utilizadores op erários reais de fábrica. Esta aplicação serviu como base para a evolução para o novo sistema AR-DT, pois já havia sido validado por suas capacidades de monitoramento e conteúdo educacional (texto, áudio e vídeo). Com base nesses conhecimentos, o sistema foi expandido para integrar AR com DT, utilizando o HoloLens 2 para uma experiência mais imersiva. No ambiente de fábrica, os dados em tempo real das máquinas são monitorados através dos servi dores compatíveis com OPC UA. Esses dados são posteriormente disponibilizados nos óculos de AR para fornecer informações contextuais. Paralalamente, a Cloud Platform armazena conteúdos de formação, como vídeos, áudio e texto, bem como objetos 3D utilizados em treinos. O Sistema de AR preenche a lacuna entre ambi entes físicos e digitais, permitindo treinamento interativo onde os operadores podem interagir com réplicas virtuais das peças da máquina, simulando o monitoramento de processos em tempo real e o conteúdo de formação educacional da máquina, como manuais por meio de texto, áudio e até vídeos tutoriais, que contribuem para melhorar a eficiência operacional, a segurança e o desenvolvimento de habilidades dos trabalhadores. Para avaliar a eficácia desta nova abordagem, foi realizada uma avaliação de usabilidade focada no desempenho dos usuários, na carga cognitiva e na usabilidade de uso da interface. Os resultados foram promissores, demonstrados por altas taxas de conclusão de tarefas (entre 81,8% e 100%), pontuações positivas nos testes de usabilidade feitos com recurso à escala System Usability Scale (SUS) (média de 72,4) e baixos níveis de frustração, demanda física e esforço, conforme medidos pela NASA-TLX. A análise qualitativa, utilizando o algoritmo VADER, confirmou uma recepção majoritariamente positiva da tecnologia de AR, embora alguns desafios na interface tenham sido identificados como oportunidades para futuras melhorias. Adicionalmente, desenvolveu-se um protótipo de AR com foco na preservação da privacidade em ambientes industriais. A solução emprega uma arquitetura cliente servidor, na qual o dispositivo de AR transmite imagens para processamento remoto, recebendo-as de volta com regiões sensíveis (ex: rostos, ecrãs) ofuscadas via técnicas como embaciamento gaussiano ou pixelização. Este protótipo constitui a etapa inicial para a integração segura de sistemas de AR em contextos industriais, estabelecendo bases para futuros avanços na harmonização entre segurança e usabilidade. Paralelamente, o sistema inclui um módulo de treino para montagem de compo nentes informáticos, concebido como prova de conceito para simulações industriais. O objetivo último consiste em integrar a ofuscação em tempo real com a interação durante o treino, garantindo a proteção de dados sem comprometer a experiência do utilizador nos óculos de AR. Em suma, as descobertas ressaltam o potencial do sistema AR-DT para otimizar a eficiência operacional, aumentar a segurança e promover o desenvolvimento de habilidades na indústria mineral. Os resultados sugerem que essas soluções integradas podem impulsionar o avanço das práticas da Indústria 4.0, contribuindo para processos industriais mais eficientes e seguros.
Description
Keywords
Engenharia Informática Tecnologia digital Twin Industria Mineral HoloLens 2 Realidade Virtual