ESTG - Mestrado em Ciência de Dados
Permanent URI for this collection
Browse
Recent Submissions
- Desenvolvimento de Soluções de Business Intelligence com Foco em Power BI, SQL e Integração com ERP - Trigénius, Tecnologias de Informação, SAPublication . Lima, Ayrise Major; Bernardino, Anabela Moreira; Bernardino, Eugénia MoreiraO presente relatório descreve o trabalho desenvolvido no âmbito do Estágio Curricular do Mestrado em Ciência de Dados, realizado na empresa Trigénius, Tecnologias de Informação, S.A., uma empresa especializada no fornecimento de soluções tecnológicas e consultoria em sistemas de informação. O estágio, com uma duração total de 1040h, teve como principal objetivo o desenvolvimento de competências práticas em Business Intelligence (BI), utilizando ferramentas como Power BI e Structured Query Language (SQL), com ênfase na integração de dados provenientes de sistemas ERP (Enterprise Resource Planning). Entre os objetivos principais destacou-se a criação de dashboards interativos e relatórios detalhados para análise e visualização de dados, com o intuito de proporcionar insights estratégicos para a gestão da empresa. Paralelamente, o trabalho incidiu na otimização de consultas SQL e de processos ETL (Extract, Transform, Load), garantindo a eficiência e escalabilidade das soluções implementadas. Durante o estágio, foi elaborado um plano detalhado para o desenvolvimento dos dashboards, abrangendo áreas-chave como Logística e Finanças. Este plano contemplou o design dos dashboards, focando-se em métricas essenciais como vendas, compras, encomendas e gestão de dívidas, indicadores críticos para o acompanhamento das operações. Os resultados alcançados contemplaram a implementação de dashboards personalizados e ajustados às necessidades específicas da empresa, seguindo uma estrutura coerente com as melhores práticas de visualização e análise de dados. Adicionalmente, foi desenvolvido um conjunto de dashboards com a mesma abordagem para um cliente da Trigénius. Este estágio constituiu uma experiência enriquecedora, permitindo a aplicação de técnicas avançadas de BI e contribuindo significativamente para a melhoria dos processos de apoio à decisão estratégica da empresa, promovendo uma cultura organizacional mais orientada por dados (data-driven).
- Avaliação do Desempenho de Cartas de Controlo por Simulação em Processos de Produção de Pasta AcabadaJesus, Ana Rita Rola; Santos, Rui Filipe Vargas de Sousa; Felgueiras, Miguel Martins
- Deteção automática da espécie Acacia dealbata em imagens recolhidas com dronesPublication . Romão, João Pedro Azenha; Pereira, António Manuel Jesus; Grilo, Carlos Fernando de Almeida; Correia, Luís Filipe JesusEsta dissertação tem como objetivo principal o desenvolvimento e validação de uma arquitetura baseada em Redes Neuronais Convolucionais (CNN, do inglês Convolutional Neural Network) para o reconhecimento automático da espécie invasora Acacia dealbata em ambientes florestais, recorrendo a imagens capturadas por Veículos Aéreos Não Tripulados (VANTs). A Acacia dealbata é uma árvore que possui um crescimento rápido, originária do sudeste da Austrália, que pode atingir cerca de 30 metros de altura e distingue-se pelas suas flores amarelas. Para tal, foram definidos objetivos específicos, como a automação do pré-processamento de dados através de scripts dedicados à extração, segmentação e rotulagem de imagens de vídeos de VANTs. Para o processo de desenvolvimento da CNN, foram exploradas diversas arquiteturas. Os testes iniciais com VGG16 revelaram limitações, especialmente devido ao elevado tamanho e quantidade de imagens semelhantes do dataset, que resultava em valores de Accuracy e F1-Score baixos. A transição para a arquitetura ResNet50V2 trouxe algumas melhorias com um desempenho geral superior. No entanto, o avanço mais significativo foi alcançado com o desenvolvimento de uma CNN criada de raiz, aliado a um dataset mais otimizado. A avaliação do desempenho do modelo demonstrou a sua eficácia e robustez. O modelo final, obtido dos testes com a CNN de raiz e o segundo dataset, apresentou uma capacidade de generalização na deteção da Acacia dealbata que foi confirmada pelos resultados da Accuracy de 0.8178 e F1-Score de 0.8459. Tais conclusões validam o potencial das CNNs na classificação de espécies em ambientes florestais e são uma contribuição significativa para a gestão ambiental. No seguimento do estudo efetuado pode proceder-se à expansão e diversificação do dataset com novas gravações e em diferentes localizações geográficas e condições atmosféricas, visando também uma maior variedade de espécies. Poderá ainda ser explorada a adaptação do modelo para uma classificação multi-classe, permitindo a identificação de múltiplas espécies.
- Analysing Emotions During Interrogations: A Case StudyPublication . Garcia, José António da Silva Pinto; Miragaia, Rolando Lúcio Germano; Grilo, Carlos Fernando de Almeida; Domingues, Patrício RodriguesIn a context of rapid technological advancement and increasing integration of Artificial Intelligence (AI) across various fields, this work explores the application of AI in the domain of criminal investigation, specifically within the context of interrogations. The research presents a dual and complementary nature: the development of a software application for the Portuguese Military Judiciary Police (PJM) and a scientific contribution in the field of multimodal emotion analysis. The first component focused on the design and implementation of the INTU-AI (Intuition Artificial Intelligence) program, a tool aimed at supporting Military Judicial Police (PJM, from Portuguese Polícia Judiciária Militar) investigators by digitizing and automating administrative procedures related to interrogations. INTU-AI integrates models for Facial Emotion Recognition (FER), Speech Emotion Recognition (SER), and Text-Based Emotion Analysis, functioning as a complete end-to-end solution. The second component represents a scientific contribution in the form of a proof-of-concept study for dynamic multimodal emotion analysis. Due to the lack of publicly available datasets of criminal interrogations, the MELD (Multimodal EmotionLines Dataset) was employed as the experimental basis, given its resemblance to real-life interaction contexts. This part of the work, structured according to the CRISP-DM methodology, explored three hypotheses regarding the relative importance of each modality in emotional evaluation.
- Integrated Approach to Data in Aquaponics SystemsPublication . Coelho, Edna Cristina dos Santos; Matias, Rosa Isabel Alves Cordeiro; Sebastião, Fernando José do Nascimento; Bernardino, Raul José SilvérioEste projeto consiste sobre o desenvolvimento de uma solução de Business Intelligence aplicada ao contexto de um sistema de aquaponia numa instituição de ensino superior, com o objetivo de facilitar a recolha, integração, análise e visualização de dados operacionais e ambientais. A fragmentação e a falta de padronização dos dados, quer dos ficheiros, convenções de nomenclatura ou estruturas das tabelas, dificultavam a consolidação eficiente da informação e a tomada de decisão. O objetivo principal foi desenvolver uma arquitetura baseada num Data Lakehouse para automatizar a recolha, integração, análise e visualização desses dados, favorecendo a monitorização contínua dos parâmetros e a partilha de resultados com a comunidade científica. Para isso, concebeu-se uma arquitetura de dados baseada em paradigmas de Data Lakehouse, que integra Apache Spark para processamento distribuído e Power BI para criação de um modelo semântico e dashboards interativos. O trabalho inclui a conceção de um modelo dimensional, a implementação de um pipeline de ETL (Extração, Transformação e Carregamento) para limpeza e unificação de arquivos heterogéneos (com formatos, convenções de nomenclatura e estruturas de tabelas inconsistentes) e o desenvolvimento de relatórios visuais orientados ao desempenho do sistema aquapónico. A principal contribuição consiste na demonstração do potencial das tecnologias analíticas e de visualização de dados na gestão sustentável de sistemas de aquaponia, mostrando como práticas de engenharia de dados aliadas a ferramentas de BI permitem superar desafios de qualidade, volumetria e escalabilidade dos dados. Por fim, a usabilidade da solução Power BI foi avaliada, recorrendo à aplicação de um questionário, através da Escala de Usabilidade do Sistema, obtendo-se a classificação de Aceitável. Destacaram-se como pontos fortes a clareza do conteúdo e a facilidade de navegação, enquanto a estética do design e o desempenho foram apontados como oportunidades de aperfeiçoamento em desenvolvimentos futuros.
- Plataforma de Gestão de Processos do Município de Pombal - Criação de Dashboards em Power BIPublication . Ramos, Maria Ângela Cardoso Silva; Salvador, Nuno Filipe Pereira; Matias, Rosa Isabel Alves CordeiroO presente relatório descreve um projeto que tem como objetivo a conceção e implementação de um sistema de Business Intelligence (BI) para otimizar a gestão e a tomada de decisão no Município de Pombal na área dos processos de licenciamento urbanístico, nomeadamente os da Unidade Orgânica Divisão de Obras Particulares. Para isso, foi realizada uma revisão da literatura sobre conceitos de BI, abordagens metodológicas e aplicações no setor público, destacando o seu impacto na eficiência operacional, tática e estratégica. Adota-se uma metodologia que permite estruturar o planeamento, conceção, desenvolvimento e implementação do sistema. A análise detalhada dos processos municipais permite identificar os principais KPIs e necessidades estratégicas da gestão, garantindo que a solução desenvolvida responda de forma eficaz aos desafios enfrentados pela autarquia. A solução de BI demonstra ser escalável e adaptável, possibilitando uma análise mais eficiente dos dados municipais, a identificação de ineficiências e a melhoria do planeamento de recursos. Além disso, este projeto destaca a importância da adoção de tecnologias de BI no setor público, não apenas como uma ferramenta de apoio à decisão, mas também como um meio para aumentar a transparência e a eficiência dos serviços prestados à comunidade. Após a extração, transformação e carregamento de dados brutos, o desenvolvimento de relatórios e a coordenação de várias medidas em DAX no Power BI, o resultado do projeto é um dashboard interativo com indicadores pertinentes à análise da gestão de processos de licenciamentos urbanísticos. Os resultados positivos obtidos por via da elaboração de inquéritos, reforçam o potencial do BI na Transformação Digital da Administração Pública, fornecendo um modelo replicável para outras autarquias que pretendam modernizar os seus processos através de uma gestão orientada a dados.
- Implementação de uma solução Business Intelligence aplicada à Contratação PúblicaPublication . Coelho, Susana Margarida Rodrigues; Salvador, Nuno Filipe Pereira; Matias, Rosa Isabel Alves CordeiroEste relatório apresenta o desenvolvimento e implementação de um sistema de Business Intelligence (BI) para otimizar a gestão da contratação pública no município de Pombal. Os dados são extraídos do Enterprise Resource Planning (ERP) do município. O projeto tem como objetivo a conceção de uma solução suportada por um conjunto de painéis interativos, que auxiliam na tomada de decisão estratégica para melhorar processos administrativos. A metodologia adotada foi Cross Industry Standard Process for Data Mining (CRISP- DM), abrangendo desde a compreensão do negócio até ao deployment do sistema. Para a estruturação dos dados, foi desenvolvido um modelo dimensional, permitindo a organização eficiente da informação e a melhoria do desempenho de consultas analíticas. O processo de Extract, Transform & Load (ETL) foi realizado através do Power BI, garantindo a integração e atualização periódica dos dados relativos aos contratos públicos do município. No contexto da análise dos dados são identificados Key Performance Indicators (KPIs) específicos, permitindo, a monitorização da execução dos contratos, a identificação de desvios orçamentais e a avaliação da conformidade regulamentar. Após a implementação do sistema os dashboards interativos foram publicados na cloud garantindo que cada utilizador só visualiza os dados de acordo com o seu perfil. A solução foi apresenta aos stakeholders, e os resultados obtidos demonstram que a solução contribui para a melhoria da eficácia e eficiência na contratação pública do município, possibilitando uma gestão mais ágil e fundamentada. Com esta ferramenta, o município de Pombal passou a dispor de um suporte estratégico robusto, capaz de otimizar processos, melhorar o planeamento e facilitar o acompanhamento dos contratos públicos
- Integrating Classification in Image Captioning Tasks: A StudyPublication . Luz, Gustavo Rocha; Grilo, Carlos Fernando de Almeida; Miragaia, Rolando Lúcio Germano; Ribeiro, José Carlos Bregieiro; Távora, Luís Miguel de Oliveira Pegado de Noronha eImage captioning combines computer vision and natural language processing to generate descriptive text for images. This dissertation evaluates whether integrating image classification into captioning models improves the quality of generated descriptions. Experiments were conducted with LSTM and Bidirectional LSTM architecture, using CNN based feature extractors on the FLOWERS dataset. Each configuration was trained 35 times with controlled random seeds to ensure consistency and reproducibility . Although all standard evaluation metrics were computed, the focus was on METEOR and SPICE for their balanced view of linguistic and semantic quality. ResNet50 yielded the best overall results among CNNs. The inclusion of classification labels showed mixed outcomes: in the Base Case, it increased variability; in BiLSTM models, it led to better METEOR scores and more consistent results. Further tests with varied classification accuracy showed limited impact on caption quality. The model remained robust, with no significant drop in performance observed down to 80% accuracy, and top performance recorded at 95% and 90% classification accuracy. These findings suggest classification can enhance performance under favorable conditions, especially when paired with BiLSTM architectures, which is valuable for real-world settings where classification errors are expected. In summary, the results underscore the subtle but meaningful role of classification in image captioning and offer guidance for building more robust multimodal systems.
- Um Sistema de Business Intelligence Aplicado à Análise de AssiduidadePublication . Nazaré, Rodrigo Silva; Matias, Rosa Isabel Alves Cordeiro; Piedade, Maria Beatriz GuerraNum contexto de crescente complexidade institucional e exigências regulatórias, a gestão eficiente dos recursos materiais e humanos torna-se essencial para o bom funcionamento de uma instituição de ensino superior. Entre os aspetos críticos da organização académica, o controlo da assiduidade dos estudantes às aulas é fundamental para a alocação eficaz de recursos e o cumprimento de regulamentos internos. Para enfrentar estes desafios, a utilização de Business Intelligence assume um papel relevante no apoio à tomada de decisão, fornecendo suporte orientado por dados e permitindo análises mais rigorosas e fundamentadas. Neste contexto, este trabalho apresenta um estudo sobre Business Intelligence e descreve as etapas da conceção e do desenvolvimento de um sistema aplicado à análise de assiduidade dos estudantes às aulas para a Escola Superior de Tecnologia e Gestão do Instituto Politécnico de Leiria. A solução desenvolvida segue uma abordagem modular, incluindo a criação de um data warehouse, o processo de extração-transformação-carga, além de scripts para atualização periódica dos dados. O sistema final inclui dashboards com um conjunto de recursos que permitem a monitorização eficaz da assiduidade, possibilitando que as decisões sobre o encerramento ou desdobramento dos turnos sejam tomadas atempadamente, com base em dados disponíveis. Além dos insights sobre a assiduidade, o sistema disponibiliza informação sobre os docentes, sobre os ciclos de estudo e oferece ainda um recurso adicional para auxiliar a composição dos grupos disciplinares. Ao proporcionar uma visão abrangente da assiduidade, o sistema torna-se uma ferramenta estratégica para a gestão académica, promovendo maior eficiência no planeamento e na tomada de decisões institucionais.
- MLCASE: Plataforma Automatizada de Desenvolvimento de Modelos de Machine LearningPublication . Sousa, Bruna Filipa Menó de; Malheiro, Ricardo Manuel da SilvaO desenvolvimento de modelos de Machine Learning é um processo intrinsecamente complexo, composto por múltiplas etapas, como o pré-processamento de dados, a seleção de algoritmos, a otimização de hiperparâmetros e a avaliação de desempenho. Este projeto propõe o desenvolvimento de uma plataforma automatizada, denominada MLCASE, com o objetivo de simplificar e acelerar estas etapas, permitindo que os cientistas de dados otimizem o seu tempo e concentrem os seus esforços na análise de resultados e na obtenção de insights estratégicos. A MLCASE foi concebida com base na framework Streamlit, proporcionando uma interface intuitiva e interativa, enquanto automatiza tarefas fundamentais como a seleção de features, a pesquisa e otimização de hiperparâmetros e a avaliação de modelos de aprendizagem automática. Adicionalmente, a plataforma integra a criação automática de relatórios técnicos e gráficos analíticos, promovendo a democratização do acesso a técnicas avançadas de Machine Learning e a sua aplicação eficiente em áreas como saúde, finanças, marketing e ciência social.