Gonçalves, Alexandrino José MarquesRodrigues, Nuno Carlos SousaRibeiro, Roberto AguiarMarto, Anabela Gonçalves RodriguesCruz, Ana Cassia Vasconcelos2025-07-312025-07-312025-04-07http://hdl.handle.net/10400.8/13808This report explores the application of Digital Twin (DT) and Augmented Real ity (AR) technologies in addressing key challenges within the mineral industry, including high operating costs, hazardous working environments, and resource management. To achieve this, a solution leveraging the HoloLens 2 is proposed, integrating real-time monitoring, educational content, and training for industrial tasks. The developed system is structured into three interconnected layers—Factory Environment, AR System, and Cloud Platform—which collectively facilitate the extraction, visualization, and dissemination of data to users. As part of this project, an initial Android AR application using Unity was developed for the mining industry and tested in factory environment with real factory worker users. This application served as the basis for the evolution of the new AR-DT system, as it had already been validated for its monitoring capabilities and educational content (text, audio, and video). Based on this knowledge, the system was expanded to integrate AR with DT, using HoloLens 2 for a more immersive experience. On the factory environment, real-time data from the machines is monitored via OPC UA-compatible servers. This data is subsequently made accessible on the AR glasses, providing users with contextual information. In parallel, the Cloud Platform stores training content such as videos, audio and text, as well as 3D objects used in training. The AR System bridges the gap between physical and digital environments, enabling interactive training where operators can interact with virtual replicas of machine parts, simulating the real-time process monitoring and the machine’s educational training content, such as manuals via text, audio and even tutorial videos, which contribute to improving operational efficiency, safety and the development of workers’ skills. To evaluate the effectiveness of this new approach, a usability evaluation was conducted, focusing on user performance, cognitive load and the interface usability. The results were promising, demonstrated by high task completion rates (between 81.8% and 100%), positive scores in usability tests carried out using the System Usability Scale (SUS) (average of 72.4) and low levels of frustration, physical demand and effort, as measured by NASA-TLX. The qualitative analysis, using the VADER algorithm, confirmed a mostly positive reception of the AR technology, although some challenges in the interface were identified as opportunities for future improvements. In addition, an AR prototype was developed with a focus on preserving privacy in industrial environments. The solution employs a client-server architecture, in which the AR device diffuses images for remote processing, receiving them back with sensitive regions (e.g. faces, screens) obfuscated via techniques such as Gaussian blurring or pixelation. This prototype is the initial step towards the secure integration of wearable systems in industrial contexts, laying the foundations for future advances in harmonizing security and usability. At the same time, the system includes a training module for assembling com puter components, designed as a proof of concept for industrial simulations. The ultimate goal is to integrate real-time obfuscation with interaction during training, guaranteeing data protection without compromising the user experience in AR glasses. These findings underscore the potential of the AR-DT system to enhance op erational efficiency, safety, and skills development within the stone industry. The study’s outcomes suggest that such integrated AR-DT solutions could contribute to advancing Industry 4.0 practices within the sector, potentially leading to more efficient and safer industrial processes.Este relatório investiga como as tecnologias Digital Twin (DT) e Realidade Aumen tada (AR) podem ajudar a enfrentar desafios da indústria mineral, como elevados custos operacionais, ambientes de trabalho perigosos e a gestão de recursos. Para isso, propõe-se uma solução baseada no uso do HoloLens 2, combinando monitorização em tempo real, conteúdos de formação e treino para tarefas industriais. O sistema desenvolvido estrutura-se em três camadas interligadas-Factory Floor, Sistema de AR e Cloud Platform—que, em conjunto, permitem a extração, visualização e entrega dos dados aos utilizadores. Como parte deste projeto, uma aplicação Android AR inicial usando Unity foi desenvolvido para a indústria mineral e testada chão de fábrica com utilizadores op erários reais de fábrica. Esta aplicação serviu como base para a evolução para o novo sistema AR-DT, pois já havia sido validado por suas capacidades de monitoramento e conteúdo educacional (texto, áudio e vídeo). Com base nesses conhecimentos, o sistema foi expandido para integrar AR com DT, utilizando o HoloLens 2 para uma experiência mais imersiva. No ambiente de fábrica, os dados em tempo real das máquinas são monitorados através dos servi dores compatíveis com OPC UA. Esses dados são posteriormente disponibilizados nos óculos de AR para fornecer informações contextuais. Paralalamente, a Cloud Platform armazena conteúdos de formação, como vídeos, áudio e texto, bem como objetos 3D utilizados em treinos. O Sistema de AR preenche a lacuna entre ambi entes físicos e digitais, permitindo treinamento interativo onde os operadores podem interagir com réplicas virtuais das peças da máquina, simulando o monitoramento de processos em tempo real e o conteúdo de formação educacional da máquina, como manuais por meio de texto, áudio e até vídeos tutoriais, que contribuem para melhorar a eficiência operacional, a segurança e o desenvolvimento de habilidades dos trabalhadores. Para avaliar a eficácia desta nova abordagem, foi realizada uma avaliação de usabilidade focada no desempenho dos usuários, na carga cognitiva e na usabilidade de uso da interface. Os resultados foram promissores, demonstrados por altas taxas de conclusão de tarefas (entre 81,8% e 100%), pontuações positivas nos testes de usabilidade feitos com recurso à escala System Usability Scale (SUS) (média de 72,4) e baixos níveis de frustração, demanda física e esforço, conforme medidos pela NASA-TLX. A análise qualitativa, utilizando o algoritmo VADER, confirmou uma recepção majoritariamente positiva da tecnologia de AR, embora alguns desafios na interface tenham sido identificados como oportunidades para futuras melhorias. Adicionalmente, desenvolveu-se um protótipo de AR com foco na preservação da privacidade em ambientes industriais. A solução emprega uma arquitetura cliente servidor, na qual o dispositivo de AR transmite imagens para processamento remoto, recebendo-as de volta com regiões sensíveis (ex: rostos, ecrãs) ofuscadas via técnicas como embaciamento gaussiano ou pixelização. Este protótipo constitui a etapa inicial para a integração segura de sistemas de AR em contextos industriais, estabelecendo bases para futuros avanços na harmonização entre segurança e usabilidade. Paralelamente, o sistema inclui um módulo de treino para montagem de compo nentes informáticos, concebido como prova de conceito para simulações industriais. O objetivo último consiste em integrar a ofuscação em tempo real com a interação durante o treino, garantindo a proteção de dados sem comprometer a experiência do utilizador nos óculos de AR. Em suma, as descobertas ressaltam o potencial do sistema AR-DT para otimizar a eficiência operacional, aumentar a segurança e promover o desenvolvimento de habilidades na indústria mineral. Os resultados sugerem que essas soluções integradas podem impulsionar o avanço das práticas da Indústria 4.0, contribuindo para processos industriais mais eficientes e seguros.engEngenharia InformáticaTecnologia digital TwinIndustria MineralHoloLens 2Realidade Virtualmaster thesis203978030