Loading...
Publication
Analysing Emotions During Interrogations: A Case Study
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 3 MB | Adobe PDF |
Abstract(s)
In a context of rapid technological advancement and increasing integration of Artificial Intelligence (AI) across various fields, this work explores the application of AI in the domain of criminal investigation, specifically within the context of interrogations. The research presents a dual and complementary nature: the development of a software application for the Portuguese Military Judiciary Police (PJM) and a scientific contribution in the field of multimodal emotion analysis.
The first component focused on the design and implementation of the INTU-AI (Intuition Artificial Intelligence) program, a tool aimed at supporting Military Judicial Police (PJM, from Portuguese Polícia Judiciária Militar) investigators by digitizing and automating administrative procedures related to interrogations. INTU-AI integrates models for Facial Emotion Recognition (FER), Speech Emotion Recognition (SER), and Text-Based Emotion Analysis, functioning as a complete end-to-end solution.
The second component represents a scientific contribution in the form of a proof-of-concept study for dynamic multimodal emotion analysis. Due to the lack of publicly available datasets of criminal interrogations, the MELD (Multimodal EmotionLines Dataset) was employed as the experimental basis, given its resemblance to real-life interaction contexts. This part of the work, structured according to the CRISP-DM methodology, explored three hypotheses regarding the relative importance of each modality in emotional evaluation.
Num contexto de rápido avanço tecnológico e crescente integração da Inteligência Artificial em diversos domínios, o presente trabalho explora a aplicação da IA na área da investigação criminal, especificamente no contexto de interrogatórios. A investigação assume uma dualidade de naturezas e complementares entre si: o desenvolvimento de uma aplicação informática para a Polícia Judiciária Militar e uma contribuição científica no campo da análise multimodal de emoções. A primeira componente centrou-se na conceção e implementação do programa INTU-AI (Intuition Artificial Intelligence), uma ferramenta destinada a apoiar os investigadores da PJM através da digitalização e automatização de procedimentos administrativos relacionados com interrogatórios. O INTU-AI integra modelos de Reconhecimento Facial de Emoções, Reconhecimento de Emoções na Fala e Análise Emocional Baseada em Texto, funcionando como uma solução completa de ponta a ponta. A segunda componente constitui uma contribuição científica sob a forma de um estudo de prova de conceito para análise multimodal dinâmica de emoções. Dada a inexistência de conjuntos de dados públicos relativos a interrogatórios criminais, foi utilizado o MELD (Multimodal EmotionLines Dataset) como base experimental, devido à sua semelhança com contextos reais de interação. Esta parte do trabalho, estruturada segundo a metodologia CRISP-DM, explorou três hipóteses relacionadas com a importância relativa de cada modalidade na avaliação emocional.
Num contexto de rápido avanço tecnológico e crescente integração da Inteligência Artificial em diversos domínios, o presente trabalho explora a aplicação da IA na área da investigação criminal, especificamente no contexto de interrogatórios. A investigação assume uma dualidade de naturezas e complementares entre si: o desenvolvimento de uma aplicação informática para a Polícia Judiciária Militar e uma contribuição científica no campo da análise multimodal de emoções. A primeira componente centrou-se na conceção e implementação do programa INTU-AI (Intuition Artificial Intelligence), uma ferramenta destinada a apoiar os investigadores da PJM através da digitalização e automatização de procedimentos administrativos relacionados com interrogatórios. O INTU-AI integra modelos de Reconhecimento Facial de Emoções, Reconhecimento de Emoções na Fala e Análise Emocional Baseada em Texto, funcionando como uma solução completa de ponta a ponta. A segunda componente constitui uma contribuição científica sob a forma de um estudo de prova de conceito para análise multimodal dinâmica de emoções. Dada a inexistência de conjuntos de dados públicos relativos a interrogatórios criminais, foi utilizado o MELD (Multimodal EmotionLines Dataset) como base experimental, devido à sua semelhança com contextos reais de interação. Esta parte do trabalho, estruturada segundo a metodologia CRISP-DM, explorou três hipóteses relacionadas com a importância relativa de cada modalidade na avaliação emocional.
Description
Keywords
Early/Late Fusion Multimodal sentiment analysis Transfer learning INTU-AI Supervised learning Deep learning Transformer models