ESTG - Mestrado em Engenharia Informática - Computação Móvel
Permanent URI for this collection
Browse
Recent Submissions
- R O G E R H R I N T E R N S H I PPublication . Melicias, Francisco Simplicio; Santos, Leonel Filipe SimõesThis report presents the work conducted during an internship at RogerHR, a startup dedicated to revolutionizing HR workflows through innovative software solutions. Conducted as part of a Master’s in Computer Engineering – Mobile Computing at the Polytechnic Institute of Leiria, the internship was focused on enhancing RogerHR’s platform using Java Spring and React. The contributions were mainly focused on time management functionalities, timesheets, shift planning, and leave management, as well as optimizing code quality, refactoring core components, and introducing testing frameworks. Transitioning from academic projects to a production-level codebase posed chal lenges, particularly in balancing rapid feature development with system stability in a fast-paced startup environment. Relocating to Switzerland added cultural and linguistic difficulties, which ultimately strengthened adaptability and collaboration skills. Over nine months, responsibilities expanded from backend development to full-stack responsibilities, contributing to frontend restructuring, CI/CD pipelines, and security best practices. Regular code reviews and Agile workflows refined the ability to write clean, scalable code. Structured into five chapters, this thesis explores RogerHR’s technical ecosystem, the contributions made to its HR platform, and the professional growth fostered by overcoming real-world challenges in a dynamic startup environment.
- I N T E G R AT I N G D I G I TA L TW I N A N D A U G M E N T E D R E A L I T Y F O R M O N I T O R I N G , E D U C AT I O N A N D T R A I N I N G I N T H E M I N E R A L I N D U S T RYPublication . Cruz, Ana Cassia Vasconcelos; Gonçalves, Alexandrino José Marques; Rodrigues, Nuno Carlos Sousa; Ribeiro, Roberto Aguiar; Marto, Anabela Gonçalves RodriguesThis report explores the application of Digital Twin (DT) and Augmented Real ity (AR) technologies in addressing key challenges within the mineral industry, including high operating costs, hazardous working environments, and resource management. To achieve this, a solution leveraging the HoloLens 2 is proposed, integrating real-time monitoring, educational content, and training for industrial tasks. The developed system is structured into three interconnected layers—Factory Environment, AR System, and Cloud Platform—which collectively facilitate the extraction, visualization, and dissemination of data to users. As part of this project, an initial Android AR application using Unity was developed for the mining industry and tested in factory environment with real factory worker users. This application served as the basis for the evolution of the new AR-DT system, as it had already been validated for its monitoring capabilities and educational content (text, audio, and video). Based on this knowledge, the system was expanded to integrate AR with DT, using HoloLens 2 for a more immersive experience. On the factory environment, real-time data from the machines is monitored via OPC UA-compatible servers. This data is subsequently made accessible on the AR glasses, providing users with contextual information. In parallel, the Cloud Platform stores training content such as videos, audio and text, as well as 3D objects used in training. The AR System bridges the gap between physical and digital environments, enabling interactive training where operators can interact with virtual replicas of machine parts, simulating the real-time process monitoring and the machine’s educational training content, such as manuals via text, audio and even tutorial videos, which contribute to improving operational efficiency, safety and the development of workers’ skills. To evaluate the effectiveness of this new approach, a usability evaluation was conducted, focusing on user performance, cognitive load and the interface usability. The results were promising, demonstrated by high task completion rates (between 81.8% and 100%), positive scores in usability tests carried out using the System Usability Scale (SUS) (average of 72.4) and low levels of frustration, physical demand and effort, as measured by NASA-TLX. The qualitative analysis, using the VADER algorithm, confirmed a mostly positive reception of the AR technology, although some challenges in the interface were identified as opportunities for future improvements. In addition, an AR prototype was developed with a focus on preserving privacy in industrial environments. The solution employs a client-server architecture, in which the AR device diffuses images for remote processing, receiving them back with sensitive regions (e.g. faces, screens) obfuscated via techniques such as Gaussian blurring or pixelation. This prototype is the initial step towards the secure integration of wearable systems in industrial contexts, laying the foundations for future advances in harmonizing security and usability. At the same time, the system includes a training module for assembling com puter components, designed as a proof of concept for industrial simulations. The ultimate goal is to integrate real-time obfuscation with interaction during training, guaranteeing data protection without compromising the user experience in AR glasses. These findings underscore the potential of the AR-DT system to enhance op erational efficiency, safety, and skills development within the stone industry. The study’s outcomes suggest that such integrated AR-DT solutions could contribute to advancing Industry 4.0 practices within the sector, potentially leading to more efficient and safer industrial processes.
- Desenvolvimento de Soluções de Monitorização e Controlo em Sistemas de Recursos LimitadosPublication . Mendes, Tomás Marto; Ribeiro, José Carlos BregieiroEste relatório, elaborado no âmbito do estágio curricular do Mestrado em Engenharia Informática – Computação Móvel da Escola Superior de Tecnologia e Gestão do Politécnico de Leiria, realizado na empresa “CapTemp”, tem como objetivo transmitir os conhecimentos adquiridos durante o estágio. Este proporcionou a aplicação prática de conhecimentos teóricos, desenvolvimento de competências técnicas e compreensão da importância da colaboração em equipa e comunicação eficaz. A “CapTemp”, sediada em Pombal, Leiria, especializa-se no desenvolvimento de soluções personalizadas de monitorização, controlo e supervisão. A empresa integra sensores, atuadores, coletores de dados e software dedicado para criar sistemas de monitorização eficazes, abrangendo desde o desenvolvimento dos sensores até à criação do software para análise e armazenamento de dados, garantindo uma atuação abrangente com base nos valores obtidos. Durante o estágio, foram desenvolvidos projetos nas áreas de programação de web services, comunicação cliente-servidor, desenvolvimento de sistemas IoT automatizados e monitorizados, comunicação UDP e serviços de rede. Os principais projetos foram: "Senslive", "Nidus" e "CT Discover Mobile". A plataforma online “Senslive” é uma solução baseada na nuvem que centraliza a monitorização de sensores, permitindo aos utilizadores gerir dispositivos e sensores, monitorizar em tempo real, modificar dados, criar relatórios automáticos, entre outras funcionalidades. A plataforma suporta dispositivos em diferentes locais e implementa um sistema de permissões para gestão eficaz e personalizada dos recursos. O dispositivo “Nidus” permite a conexão de diversos sensores e dispositivos de atuação, transmitindo os dados para uma plataforma na nuvem para análise. O projeto focou-se em melhorar a mobilidade do dispositivo, desenvolvendo software para um módulo GPS externo que, em conjunto com a “Nidus”, permite a obtenção em tempo real da localização geográfica de múltiplos dispositivos conectados. O projeto "CT Discover Mobile" envolveu a implementação de uma extensão móvel do projeto “CT Discover” usando a linguagem “Flutter”. Esta aplicação permite gerir as “Nidus” de forma intuitiva em dispositivos móveis, facilita a procura e identificação de dispositivos, visualização e controlo dos sensores, análise detalhada dos dados, alteração das configurações da “Nidus” e criação de relatórios detalhados.
- Integrated Digital WalletPublication . Simões, Tiago dos Santos; Bernardino, Anabela MoreiraRecently, blockchains and cryptocurrencies have gained more market share and have attracted a great deal of attention among the worldwide community. Banks, stock exchanges, financial institutions, and large companies are increasingly investing in this extremely lucrative digital market, which every day creates solutions, innovative products, and market infrastructures. It is impossible to interact with this universe without a digital wallet, which stores and transacts each user's assets. WIT is no different and to assist its entry into this market, it has created this internship opportunity to develop a prototype for a digital wallet that allows operations to be performed on a blockchain while keeping the user's portfolio of digital assets. This implementation had to guarantee proper security and offer a user experience targeted at mainstream users, with the ultimate goal of being later integrated into any specific solution implemented under a blockchain. This internship began with an extensive first analysis phase which helped to conclude that the real value of a wallet is the way it stores and manages its private keys. This conclusion meant a change of focus and led to a second phase of in-depth analysis to understand the most suitable and secure method for managing keys. This report describes all the work conducted for ten months at WIT Software, which involves a considerable period of state-of-the-art research into digital wallets and then the design and implementation of the wallet prototype that integrates a Multi-Party Computation method, which has been identified as the most effective way of managing its private keys.
- A ROS 2 -BASED GATEWAY FOR A MODULAR HARDWARE USAGE IN HETEROGENEOUS ENVIRONMENTSPublication . Carreira, Rúben Gonçalves; Pereira, António Manuel de Jesus; Costa, Nuno Alexandre Ribeiro; Ramos, João Pedro FerreiraO surgimento da Robótica e Internet of Things (IoT) marca uma mudança fundamental em direção a um mundo mais interligado e automatizado, fundindo o mundo físico ao digital. No entanto, este tipo de combinação enfrenta desafios complexos, como por exemplo, os relacionados com a integração em ambientes com sistemas antigos, a interoperabilidade entre dispositivos ou sistemas heterogéneos e a adaptabilidade e eficiência devido à inflexibilidade dos robôs tradicionais. Existe também o desafio de aprender novas tecnologias e conceitos dependendo do fabricante do robô. Face ao exposto, existe então a necessidade de uma mudança em direção a soluções robóticas modulares e, por isso, esta dissertação apresenta um novo middleware baseado em Robot Operating System 2 (ROS2), cujo nome é “gateway”, projetado para facilitar a integração de robôs em qualquer ambiente de uma forma simplificada e rápida. Ao focar-se nos módulos de hardware dos robôs e ao estabelecer pontes para comunicações externas, este middleware visa melhorar a modularidade e a interoperabilidade, agilizando assim o processo de integração dos robôs. Os utilizadores apenas interagem com o sistema através de uma interface de utilizador na linha de comandos, selecionando os módulos de hardware e tecnologias de comunicação que atendam às suas necessidades específicas. De seguida, o gateway configura e executa o que for necessário de acordo com as opções e configurações que o utilizador introduziu. Esta abordagem não só acelera o processo de integração, mas também garante que os robôs permaneçam flexíveis e adaptáveis a uma ampla variedade de tarefas e ambientes. Através do desenvolvimento e avaliação deste middleware, pretende-se demonstrar o seu potencial para superar as limitações dos sistemas robóticos tradicionais e abrir caminho para uma integração e uso mais versátil e eficiente de robôs em vários ecossistemas. Este projeto contribui para a Internet of Robotics Things (IoRT), destacando a importância do hardware dos robôs, princípios de design modular e comunicações interoperáveis na área da robótica e IoT.
- Upgrade da plataforma CMS EasyWebPublication . Baptista, Sandro Maia; Monteiro, Marco António de OliveiraWhen using content management platforms for web pages, there are processes that can become repetitive or time-consuming to carry out. In addition, it doesn't always have internal functionalities that make management easier, involving external tools. The aim of this project is to create solutions to problems encountered recently in a CMS platform. The solutions include developing components related to uploading files to servers, managing tables, organising files on FTP servers and building web pages. The file upload component is a form that allows you to insert multiple files, offering drag-and-drop functionality. The FTP server file organisation module is a portal that shows all existing files and allows you to perform actions with them. The table management com-ponent contains drag-and-drop functionality for sorting table rows. The web page construc-tion component is an inbuilt page editor. During development, tests were carried out on the platform, already in a prepared envi-ronment, to make adaptations and to obtain results from end users. With the implementation finished, users can upload multiple files at the same time more quickly, without many clicks. They can also access the FTP server without using external tools. In addition, they can sort records in a table by dragging and can create and preview pages in an editor.
- ADVANCING EFFICIENT AUTOMATED HARVESTING: AI -BASED FRUIT DETECTION AND DIGITAL TWIN INTEGRATION FOR AGRICULTURE 5 . 0Publication . Couto, Pedro Félix; Pereira, António Manuel de Jesus; Ramos, João Pedro FerreiraThe rapid growth of the global population has intensified the demand for food production, highlighting the importance of more efficient agricultural practices. Since crop harvesting is one of the earliest stages in the food supply chain, improving its efficiency will positively impact the following steps in the supply chain, reducing waste and ensuring higher quality products reach consumers. This stage, like many others in agriculture, faces significant challenges in becoming more efficient due to the need for human intervention and the shortage of labor. Therefore, innovative approaches and technological advancements are essential to develop solutions that can address these issues. This thesis presents a comprehensive solution leveraging artificial intelligence (AI), robotics, and digital twins to address the challenges of automating the process of fruit harvesting. It uses AI to detect fruit ripeness, robotics for automated harvesting, and digital twins to simulate the evolution of the fruits’ ripeness over time. By automating the assessment of the ripeness, the proposed system helps ensure that fruits are harvested at their optimal stage, maintaining quality standards that are critical for meeting consumer preferences. Among the AI models tested, the Gelan-c model achieved the best performance, with a box precision of 96% and mask precision of 95.8% in ripeness detection. The system’s capability to determine precise 3D coordinates of fruits enables the robotic arm to reliably align itself with the target fruit, demonstrating a high success rate in positioning. In controlled conditions, the system successfully picked and stored ripe fruits 90% of the time. These results suggest that the proposed system can significantly enhance the efficiency of fruit harvesting, reducing reliance on manual labor and improving overall productivity. The integration of digital twins allows for more accurate resource planning and ripeness prediction, contributing to a more sustainable and data-driven approach to agriculture.
- EMPATHETIC CONVERSATIONAL AGENT FROM BODY EMOTION DETECTION WITH AIPublication . Pereira, Rafael Mendes; Pereira, António Manuel de Jesus; Costa, Nuno Alexandre Ribeiro daA interação entre humano-computador está constantemente a evoluir com o surgimento de novos agentes conversacionais promissores. No entanto, estes agentes geralmente não possuem a capacidade de compreender ou reconhecer as emoções dos seus utilizadores. No contexto do reconhecimento de emoções, os sistemas mais comuns na investigação científica baseiam-se em expressões faciais e análise de voz. Apesar dos avanços significativos no reconhecimento de emoções, algumas formas de expressão emocional permanecem pouco exploradas, como o reconhecimento de emoções através de gestos corporais, representados por sequências de imagens que capturam expressões corporais. Esta tese propõe uma arquitetura para construir um agente conversacional empático utilizando o reconhecimento de emoções através de gestos corporais. Esta estratégia faz parte de uma arquitetura geral de HCI que combina informações emocionais provenientes de múltiplas fontes, incluindo expressões faciais, gestos corporais, análise de voz e análise de sentimento, integrando-as através de um modelo de fusão. O design desta arquitetura geral é baseado numa análise extensa de artigos científicos sobre o reconhecimento de emoções. Nesta tese foram realizados vários experimentos com diferentes modelos de AI para realizar a deteção de emoções com base em gestos corporais, utilizando o conjunto de dados VGAF_EmotiW, que contém gestos corporais em diferentes contextos. O modelo com melhor desempenho foi o PoseGRU, que atingiu taxas de precisão superiores a 50%. Quando investigadores ou programadores pretendem implementar um sistema semelhante ao proposto nesta tese, muitas vezes precisam começar do zero, sem saber por onde começar ou quais passos seguir. No momento da escrita desta tese, e com base numa revisão de literatura sistemática publicada presente nesta tese, não existem guidelines disponíveis que auxiliem na criação de uma solução como a que é proposta. Esta falta de orientação estruturada pode representar um desafio para a implementação eficaz de sistemas de de conversação empáticos que fazem uso do reconhecimento de gestos corporais. Para abordar esta lacuna, a tese define um conjunto de procedimentos para a implementação da solução proposta. Estes procedimentos, apresentados sob a forma de guidelines, oferecem uma estrutura passo a passo para ajudar investigadores e programadores a construir a solução proposta ou sistemas semelhantes, detalhando claramente as etapas necessárias para a implementação. As guidelines são também demonstradas detalhadamente e aplicadas a três casos de uso diferentes: atendimento ao cliente, educação e aprendizagem online, e aplicações para a saúde mental. Ao seguir estas diretrizes, o sistema pretende melhorar a interação entre o humano e o computador ao adaptar-se aos estados emocionais dos utilizadores, o que, na prática, pode melhorar a comunicação e a ligação entre ambos. Por exemplo, em ambientes empresariais e/ou quando aplicadas a utilizadores idosos, a solução pode aumentar a satisfação, melhorar a qualidade das interações e contribuir para o sucesso geral do negócio. Além disso, esta tese aborda seis questões de investigação que fornecem respostas a questões relevantes e pertinentes no campo do reconhecimento de emoções e da interação humano-computador empática.
- Atualização e Desenvolvimento da Plataforma IIoT SensLIVEPublication . Fernandes, Pedro Miguel Ribeirinho; Santos, Leonel Filipe SimõesEste relatório descreve a experiência e o trabalho desenvolvido no estágio inserido no Mestrado em Engenharia Informática – Computação Móvel (MEI-CM) da Escola Superior de Tecnologia e Gestão (ESTG) do Politécnico de Leiria no ano letivo 2023/2024. O estágio decorreu na empresa CapTemp, localizada em Pombal, e teve uma duração de 1400 horas (setembro a junho). Durante este período foi desempenhada a função de Full-Stack Developer e foram desenvolvidos módulos para uma plataforma Industrial Internet of Things (IIoT) denominada de SensLIVE. O objetivo do estágio foi contribuir para a migração da plataforma para uma nova versão, corrigindo alguns erros ou bugs da versão anterior, incorporar novas tecnologias de front-end e cross-platform como Vue e Flutter, desenvolver novas funcionalidades e melhorar a sua interface gráfica. Este estágio foi uma oportunidade para aplicar e solidificar os conhecimentos adquiridos ao longo do período acdémico e serviu como preparação para os desafios futuros na área de Engenharia Informática (EI), que está em constante evolução. Foi uma etapa importante para o enriquecimento pessoal e profissional e, todo o trabalho desenvolvido, contribuirá significativamente para o crescimento da CapTemp.
- INTELLIGENT MULTISPECTRAL UAV IMAGERY FOR FIRE MANAGEMENT AND PREVENTIONPublication . Cruz, Mário Rui Santos; Frazão, Luís Alexandre Lopes; Ramos, João Pedro FerreiraA crescente ameaça de incêndios florestais na Europa Mediterrânica, particularmente em Portugal, destaca a necessidade urgente de abordagens inovadoras para a previsão de incêndios e a vigilância florestal. O risco de incêndio ainda é predominantemente avaliado com base nas condições atmosféricas, o que limita a precisão das mesmas. Leaf Water Content (LWC) é fundamental para entender a saúde da vegetação, o stress hídrico e a irrigação, o que impacta diretamente a estimativa do risco de incêndio. Esta dissertação apresenta o ForestML, uma arquitetura em tempo real que utiliza Unmanned Aerial Vehicle (UAVs) equipados com câmeras multiespectrais e algoritmos de inteligência artificial para prever e analisar florestas a partir de uma perspectiva aérea. Esta solução, o ForestML, é composta pela Ground Station, a Backstation e uma aplicação de gestão e monitoramento, que facilita a avaliação em tempo real de incêndios e riscos associados, apoiando as tomadas de decisões de especialistas. As principais vantagens desta arquitetura incluem a capacidade de processar dados em tempo real numa máquina externa, em vez de depender de modelos no dispositivo, limitados e menos confiáveis, que comprometeriam o desempenho do UAV, como o tempo de voo e a capacidade de armazenamento. Adicionalmente, um conjunto de dados exclusivo foi produzido especificamente para este trabalho. Anteriormente, não havia nenhum Dataset disponível com essas bandas e com alta precisão, pois inclui valores de LWC validados em laboratório. Além disso, é apresentada uma nova métrica de risco de incêndio baseada nos níveis de humidade no interior das folhas da vegetação, permitindo uma avaliação precisa do risco de incêndio. Criámos também um novo modelo a partir do modelo de segmentação YOLOv8 para lidar com dados multiespectrais com 5 ou 8 canais, permitindo uma extração de características melhorada e maior precisão na análise de imagens multiespectrais. O nosso modelo personalizado com 8 canais superou os modelos comuns de 3 canais. O modelo de 8 canais mostrou um desempenho superior na previsão do teor de água nas folhas, atingindo um box mAP50 e mask mAP50-95 de 90,5% e 58,5%, respetivamente.