Mestrado

FIWARE-Based Digital Twin with Augmented Reality Support for Predictive Maintenance

André Costa (afilipecosta@ipvc.pt) João Miranda (joao.miranda@ipvc.pt) Luís Romero (romero@estg.ipvc.pt) Pedro Faria (pfaria@estg.ipvc.pt)

2024

Enquadramento

Este projeto tem como objetivo o desenvolvimento de um protótipo de um Digital Twin, integrando suporte de Realidade Virtual e Aumentada para a manutenção de equipamento e formação de operadores.

Aplicação de Realidade Aumentada

A aplicação proposta permitirá aos utilizadores visualizar os dados das máquinas em tempo real através de Realidade Aumentada. Em caso de necessidade de manutenção, a aplicação fornecerá uma sequência de passos para auxiliar na manutenção da máquina.

REST API

Foi desenvolvida uma REST API para a gestão eficiente do Digital Twin, facilitando a manipulação de entidades complexas:

• Máquinas
• Processos
• Sub-Processos
• Componentes
• Conteúdos Multimédia
• Etc.

Backoffice

O sistema inclui um backoffice de suporte, através do qual será possível:

• Visualizar em tempo real os dados de todos os processos
• Receber notificações a partir das máquinas e gerir o processo de manutenção

Utilização do FIWARE e de Inteligência Artificial

A utilização do FIWARE permite a gestão eficiente dos dados em tempo real e o armazenamento histórico dos mesmos, facilitando a análise e monitorização contínua das condições. Adicionalmente, o uso de Inteligência Artificial na previsão diversas métricas, como a temperatura, permite antecipar problemas e otimizar a operação das máquinas.

Arquitetura do Sistema

Estrutura por Camadas

Trabalho Futuro

Trabalho Realizado

Expansão do Uso de Inteligência Artificial:

• Modelos Preditivos
• Análise de Performance
• Predição de outras variáveis

Integração do sistema com a voz:

• Ligar/Desligar a máquina
• Tirar Café Curto/Longo com ajuda do Servo Motor

Integração Real em ambiente Virtual :

• Ligar/Desligar a máquina
• Tirar Café Curto/Longo

Transmissão de Dados:

• Implementação de sensores DHT11 para monitorização de temperatura e humidade.

• Uso do FIWARE para transmissão e visualização de dados em tempo real

Inteligência Artificial:

• Modelo LinearRegression para previsão de tendências de temperatura.
• Implementação de medidas preventivas automáticas baseadas nas previsões.

Aplicação de Realidade Aumentada :

• Visualização de máquinas e componentes em realidade aumentada.
• Assistência interativa na manutenção com passos detalhados em Realidade Aumentada.

Gestão de Dados:

• Uso de Docker para isolar e empacotar a aplicação e suas dependências. Integração com Orion Context Broker e QuantumLeap para análise de dados históricos e monitoramento em tempo real.

API REST:

• Criação de uma API REST para facilitar a gestão de entidades complexas como máquinas, processos e componentes.

Conclusão

• A capacidade de visualizar dados em tempo real e receber instruções detalhadas para a manutenção não só otimiza os processos industriais, como também minimiza o tempo de inatividade das máquinas e melhora a eficiência operacional.

• A REST API desenvolvida, juntamente com a integração de tecnologias como o FIWARE, assegura uma gestão robusta e flexível do Digital Twin, facilitando a comunicação entre dispositivos IoT e aplicações. A utilização de algoritmos de Machine Learning para previsão de manutenções demonstra o potencial do projeto para antecipar problemas e melhorar a tomada de decisões.

• Este projeto não só destaca a importância da digitalização na indústria moderna, mas também estabelece um framework sólido para futuras expansões e melhorias, proporcionando uma base para o desenvolvimento contínuo de soluções inovadoras na área do Digital Twin.

Obrigado!

André Costa nº 24550 afilipecosta@ipvc.ptJoão Miranda nº 23416 joao.miranda@ipvc.pt

Esta API serve como intermédio entre o FIWARE com a aplicação de AR para questão de segurança e rapidez . Esta api também irá permitir a visualização da previsão dos dados futuros e assim avisando o utilizador na aplicação

Camada de Integração

Camada de Interface

Será possível visualizar os dados de todos os processos, em tempo real, e receber notificações destes. É possibilitada a manipulação de todos os processos, incluindo o da aplicação de Realidade Aumentada, o qual permite a inclusão e configuração de novas tarefas e respetivos passos de manutenção das máquinas, utilizando diversos conteúdos Multimédia.

A aplicação suporta a utilização de Realidade Aumentada para deteção de uma máquina e a visualização dos seus dados, em tempo real. Caso se verifique que a máquina necessita de manutenção, o utilizador/operador terá ao seu dispôr diversos conteúdos multimédia, apresentados sob a forma de sequências de passos, que o ajudarão no processo de manutenção da máquina.

É utilizado o modelo LinearRegression para treino com dados recentes (exc: da temperatura) para previsão de tendências, baseadas nos valores anteriormente obtidos.

No caso da previsão da ocorrência de temperaturas altas, a máquina é desligada automaticamente.

Um gráfico que permite a visualização dos dados em tempo real (ex: a temperatura prevista num dado intervalo de tempo).

A título de exemplo, um dispositivo Rasberry PI fica responsável por receber os dados de um sensor de temperatura e enviá-los para o FIWARE, via protocolo HTTP. Através de uma janela de linhas de comandos, é possível ir acompanhando/visualizando a obtenção de dados pelo sensor, o envio destes e a boa receção dos mesmos pelo FIWARE.

Constituição dos Containers em Docker

QuantumLeap

Orion

Docker: usa containers para empacotar aplicações e suas dependências, garantindo funcionamento consistente em qualquer ambiente. As imagens Docker contêm tudo necessário para executar a aplicação. A rede Docker facilita a comunicação entre containers, oferecendo isolamento e interação quando necessário. Simplifica o desenvolvimento, teste e implantação de aplicações.

QuantumLeap: Integrado ao sistema, analisa os dados históricos para predição de manutenções e otimização da operação

Orion Context Broker: Facilita a comunicação entre os dispositivos IoT e as aplicações, permitindo a visualização em tempo real e a interação com as máquinas.

Camada Cibernética

O Digital Twin de uma máquina de café, neste caso, pode ser utilizado para monitorizar e prever o seu comportamento e falhas, determinar se necessita de manutenção e visualizar dados como a temperatura e a humidade, em tempo real, assim como o histórico destes.

historial operacional

histórico de manutenções

dados em tempo real

estado da ISS & previsões

ambiente espacial

feedback

Foi desenvolvida uma REST API para facilitar a gestão de um Digital Twin, na:

• Manipulação de diversas entidades complexas: Máquinas, Processos, Sub-Processos, Componentes e Conteúdos Multimédia
• Associados a cada processo
• Com diversos passos de suporte à manutenção de cada entidade

A API suporta os seguintes componentes:

• MODELS para representar as entidades e as suas relações.
• CONTROLLERS para encapsular a lógica necessária, de resposta a requisições, como sejam a criação de um novo processo, a listagem de todos os componentes ou a atualização de informações de uma máquina.
• ROUTES para definir os pontos de acesso à API, permitindo aos utilizadores a interação com o Digital Twin, através de requisições HTTP específicas.

Em conjunto, as componentes suportam a complexidade inerente ao Digital Twin, bem como oferecem uma interface clara e eficaz para a manipulação dos dados.

Exemplo de um Sensor de Temperatura e de Humidade (DHT11)

Camada Digital

Exemplo de Manipulação de uma Máquina

Base de dados

Foi desenvolvida uma REST API para facilitar a gestão de um Digital Twin, na:

• Manipulação de diversas entidades complexas: Máquinas, Processos, Sub-Processos, Componentes e Conteúdos Multimédia
• Associados a cada processo
• Com diversos passos de suporte à manutenção de cada entidade

Este componente possibilitará a visualização, em tempo real, dos dados de todos os processos e a receção das notificações destes. É possibilitada a manipulação de todos os processos, incluindo o da aplicação de Realidade Aumentada, o qual permite a inclusão e configuração de novas tarefas e respetivos passos de manutenção das máquinas, utilizando diversos conteúdos Multimédia.

Aplicação com suporte de Realidade Aumentada, para um utilizador/operador detetar uma máquina e visualizar os dados da mesma em tempo real. No caso de uma máquina necessitar de manutenção, o operador terá ao seu dispôr diversos conteúdos multimédia, apresentados sob a forma de sequências de passos, que o ajudarão no processo de manutenção da máquina

Camada Física

O dispositivo Raspberry PI é responsável por receber os dados de um sensor e enviá-los para o FIWARE, via protocolo HTTP.

Objeto físico escolhido para representar o seu Digital Twin.

Sensor Temperatura e de Humidade DHT11