Publicação
Retrieval-Augmented Generation for B2B Spare Parts Search Design and Evaluation of a Hybrid Retrieval and LLM-Ranking Recommendation API
| datacite.subject.fos | Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática | |
| dc.contributor.advisor | Craveiro, Olga Marina Freitas | |
| dc.contributor.author | Bispo, Ivo Afonso Freire | |
| dc.date.accessioned | 2026-09-07T13:34:34Z | |
| dc.date.available | 2026-09-07T13:34:34Z | |
| dc.date.issued | 2026-06-19 | |
| dc.description.abstract | Industrial procurement increasingly relies on digital product catalogs, yet non-specialist personnel often struggle to locate spare parts when they lack precise technical terminology or catalog identifiers. This vocabulary mismatch between natural-language descriptions and structured product specifications limits the effectiveness of traditional keyword-based search. This internship report was developed in the scope of an internship at Valtech, a consultancy company specialising in B2B software products. The work addresses a practical challenge faced by manufacturers: enabling non-specialist personnel to search for spare parts for industrial machinery using natural language, without requiring knowledge of precise catalog identifiers or technical terminology. This internship report presents the design, implementation, and evaluation of an AI-driven product search and recommendation API for B2B spare parts. The system applies a Retrieval-Augmented Generation (RAG) pipeline in which a hybrid retriever (dense semantic similarity + BM25 lexical retrieval) retrieves candidate products from a structured catalog, and a large language model reranks candidates and generates structured recommendations. Using a proof-of-concept catalog of 50 products and a 50-query test suite, systematic evaluation identified a semantic-dominant hybrid configuration (70:30 semanticto- keyword) that improved retrieval performance by 15 percentage points over pure semantic retrieval. The end-to-end pipeline achieved an 88% pass rate, exceeding the predefined 85% quality threshold, where a test is considered a pass when an expected SKU appears in the recommendation list. To address latency dominated by model inference, a query-level response cache reduced response time for repeated queries by approximately 97%. The results provide evidence that RAG-style architectures can support B2B spare parts search in controlled settings, and document practical design and implementation considerations for hybrid retrieval, structured output enforcement, and performance optimization. | eng |
| dc.description.abstract | A aquisição industrial depende cada vez mais de catálogos de produtos digitais, contudo o pessoal não especializado tem frequentemente dificuldade em localizar peças sobressalentes quando não dispõe da terminologia técnica precisa ou dos identificadores de catálogo adequados. Esta incompatibilidade de vocabulário entre descrições em linguagem natural e especificações de produtos estruturadas limita a eficácia da pesquisa tradicional baseada em palavras-chave. Este relatório de estágio foi desenvolvida no âmbito de um estágio na Valtech, uma empresa de consultoria especializada em produtos de software B2B. O trabalho aborda um desafio prático enfrentado por fabricantes: permitir que pessoal não especializado pesquise peças sobressalentes para máquinas industriais em linguagem natural, sem necessitar de conhecimento prévio de identificadores de catálogo ou terminologia técnica específica. Este relatório de estágio apresenta o desenho, implementação e avaliação de uma API de pesquisa e recomendação de produtos com base em inteligência artificial para peças sobressalentes no contexto B2B. O sistema aplica um pipeline de Geração Aumentada por Recuperação (RAG), no qual um recuperador híbrido (similaridade semântica densa + recuperação léxica BM25) obtém produtos candidatos a partir de um catálogo estruturado, e um modelo de linguagem de grande escala reordena os candidatos e gera recomendações estruturadas. Utilizando um catálogo de prova de conceito com 50 produtos e um conjunto de 50 consultas de teste, a avaliação sistemática identificou uma configuração híbrida de dominância semântica (70:30 semântico-léxico) que melhorou o desempenho de recuperação em 15 pontos percentuais face à recuperação puramente semântica. O pipeline completo alcançou uma taxa de sucesso de 88%, superando o limiar de qualidade predefinido de 85%, onde um teste é considerado bem-sucedido quando um SKU esperado aparece na lista de recomendações. Para mitigar a latência dominada pela inferência do modelo, uma cache de respostas ao nível da consulta reduziu o tempo de resposta para consultas repetidas em aproximadamente 97%. Os resultados fornecem evidências de que arquiteturas do tipo RAG podem suportar a pesquisa de peças sobressalentes B2B em ambientes controlados, e documentam considerações práticas de desenho e implementação relativas à recuperação híbrida, aplicação de saídas estruturadas e otimização de desempenho. | por |
| dc.identifier.tid | 204357519 | |
| dc.identifier.uri | http://hdl.handle.net/10400.8/16790 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | Geração aumentada por recuperação | |
| dc.subject | Pesquisa de produtos | |
| dc.subject | Aquisição B2B | |
| dc.subject | Recuperação Híbrida | |
| dc.subject | Processamento de linguagem natural | |
| dc.subject | Modelos de linguagem de grande escala | |
| dc.subject | Pesquisa semântica | |
| dc.title | Retrieval-Augmented Generation for B2B Spare Parts Search Design and Evaluation of a Hybrid Retrieval and LLM-Ranking Recommendation API | |
| dc.type | master thesis | |
| dspace.entity.type | Publication |