Name: | Description: | Size: | Format: | |
---|---|---|---|---|
2.66 MB | Adobe PDF |
Authors
Abstract(s)
O presente relatório é parte integrante do projeto realizado no âmbito da Unidade Curricular (UC) Dissertação/Projeto/Estágio do Mestrado em Ciência de Dados, lecionado na Escola Superior de Tecnologia e Gestão do Instituto Politécnico de Leiria. O objetivo deste relatório é descrever todo o trabalho desenvolvido ao longo do projeto.
O projeto visa oferecer uma solução a um problema real através de técnicas utilizadas em Business Intelligence – uma das grandes áreas da Ciência de Dados que tem muito ênfase neste Mestrado. O objetivo deste projeto é responder a várias perguntas que geralmente ficam sem resposta aquando a elaboração de orçamentos familiares, como por exemplo: “quanto dinheiro gastamos nas compras dos supermercados?”, “em que categorias de produto se despendeu mais dinheiro?”, ou “qual é a loja mais cara para os produtos comprados com mais frequência?”.
O projeto iniciou-se com a construção de uma Base de Dados (BD) SQL de raiz, o que incluiu a elaboração do dicionário de dados, do modelo conceptual (diagrama de entidade e relacionamento) e do modelo lógico. Esta BD foi de seguida preenchida com dados que foram extraídos a partir de faturas eletrónicas emitidas por várias lojas da cadeia de supermercados Continente, faturas essas datadas de 2019 a 2024. Foi necessário criar vários algoritmos com a linguagem de programação Python para conseguir recolher as faturas que se encontravam num servidor de e-mail, extrair dessas faturas os dados relevantes e introduzir os mesmos na BD, isto tudo de forma automática. Outras faturas referentes a outras lojas foram introduzidas manualmente através de queries SQL.
A partir da BD já preenchida, foi feito um estudo para a elaboração de um Data Warehouse (DW) igualmente de raiz, incluindo a conceção do modelo dimensional, criação das tabelas e automatização do processo ETL (Extract, Transform and Load).
Por fim, foram elaborados vários dashboards. Os gráficos e as tabelas desses dashboards são gerados diretamente a partir dos dados que foram carregados no DW, o que permite analisar sob diversas formas as despesas obtidas com base nas faturas disponíveis.
Description
Keywords
Base de dados Business Intelligence Dashboard Data Warehouse Gestão de despesas