COMPARAÇÃO DE MÉTODOS DE APRENDIZAGEM POR REFORÇO EM PROCESSOS INDUSTRIAIS DISCRETOS SEQUENCIAIS

Silva, Tiago Resende da

http://hdl.handle.net/10400.8/9226

Use this identifier to reference this record.

Name:	Description:	Size:	Format:
Dissertação_TiagoResende_corr_correções_formais.pdf		3.96 MB	Adobe PDF	Download

Send Feedback

Authors

Silva, Tiago Resende da

Advisor(s)

Bento, Luís Manuel Conde

Perdigoto, Luís Miguel Ramos

Abstract(s)

O processo de comissionamento de equipamentos durante a implementação de um novo sistema, ou na reconfiguração de um já existente, é uma etapa em que as empresas gastam dinheiro e tempo antes da entrada em operação. Baseando-se nesse problema, este trabalho analisa a utilização de Gémeos Digitais, que simulem o ambiente fabril, em conjunto com a utilização de técnicas de Aprendizagem por Reforço para permitir que o sistema se reconfigure e se programe de forma automática. Diferentemente das técnicas tradicionais de controlo, a Aprendizagem por Reforço encara o sistema como uma caixa negra, em que a interação entre o agente e o ambiente promove a sintonização dos parâmetros necessários para o funcionamento correto do processo industrial. Isso resulta na economia de dinheiro, na diminuição de tempo de produção e na busca de inúmeras possibilidades de operação até que se encontre a mais eficiente. Acrescenta-se a tudo isso a diminuição do tempo de exposição de pessoas ao processo de implementação inicial e consequente diminuição de acidentes, uma vez que o comissionamento ocorre no ambiente virtual. Dessa forma, este trabalho desenvolve e aplica alguns dos diferentes algoritmos de Deep Reinforcement Learning a um sistema de empacotamente de latas. O principal objetivo é avaliar a viabilidade e o desempenho de utilizar estes tipos de algoritmos na aprendizagem e otimização automática das sequências de controlo em processos industriais de natureza sequencial e discreta. Dada a natureza sequencial dos processos, com necessidade inerente de efeito de memória, foram experimentadas diferentes arquiteturas de redes neuronais, realizando um estudo comparativo sobre a performance das redes neuronais LSTM (Long Short-Term Memory) frente à utilização de buffers de memória de estados anteriores de diferentes tamanhos. Por fim, os modelos com melhores resultados e maior estabilidade foram aplicados aos Gémeos Digitais, mostrando a capacidade que estes tipos de algoritmos de aprendizagem automática têm para ser aplicados no controlo de sistemas industriais.