This project is a test case to show the use of a virtual environment as user interface for the Digital Scenario Framework (https://github.com/gpvigano/DigitalScenarioFramework). Some editing functionalities are provided to create the scenario, including elements manipulation, collision detection, connections between elements, connection path editing, etc. A test application is included, based on a simplified simulation a basic electronic circuit, with 3D representations of electronic components and cables, the interaction support for components wiring, and a user interface for parameters control. The user can experiment with the interactive virtual environment to test the simulated circuit, while an agent can be trained both manually (teaching by showing) and automatically, thanks to a configurable reinforcement learning algorithm. When the agent is taking actions autonomously, the results are visualized in real time in the virtual environment.

Questo progetto costituisce un caso di prova per dimostrare l'utilizzo di un ambiente virtuale come interfaccia utente per il Digital Scenario Framework (https://github.com/gpvigano/DigitalScenarioFramework). Sono disponibili varie funzionalità per la creazione di uno scenario, incluse la manipolazione degli elementi della scena, il rilevamento delle collisioni, la connessione tra elementi, la modifica dei percorsi di connessione, ecc. Viene fornita un'applicazione di test, basata su una simulazione semplificata di un elementare circuito elettronico, con la rappresentazione 3D dei componenti elettronici e dei cavi, il supporto interattivo per il loro cablaggio e un'interfaccia utente per il controllo dei parametri. L'utente ha la possibilità di effettuare test con il circuito simulato grazie all'ambiente virtuale interattivo, mentre un agente può venire addestrato sia manualmente (teaching by showing) che automaticamente, grazie a un algoritmo di apprendimento per rinforzo configurabile. Quando l'agente compie azioni autonomamente, i risultati vengono visualizzati in tempo reale nell'ambiente virtuale.

Digital Scenario Framework Test for Unreal Engine - Progetto open source

Giovanni Paolo Viganò
2021

Abstract

This project is a test case to show the use of a virtual environment as user interface for the Digital Scenario Framework (https://github.com/gpvigano/DigitalScenarioFramework). Some editing functionalities are provided to create the scenario, including elements manipulation, collision detection, connections between elements, connection path editing, etc. A test application is included, based on a simplified simulation a basic electronic circuit, with 3D representations of electronic components and cables, the interaction support for components wiring, and a user interface for parameters control. The user can experiment with the interactive virtual environment to test the simulated circuit, while an agent can be trained both manually (teaching by showing) and automatically, thanks to a configurable reinforcement learning algorithm. When the agent is taking actions autonomously, the results are visualized in real time in the virtual environment.
2021
Istituto di Sistemi e Tecnologie Industriali Intelligenti per il Manifatturiero Avanzato - STIIMA (ex ITIA)
Questo progetto costituisce un caso di prova per dimostrare l'utilizzo di un ambiente virtuale come interfaccia utente per il Digital Scenario Framework (https://github.com/gpvigano/DigitalScenarioFramework). Sono disponibili varie funzionalità per la creazione di uno scenario, incluse la manipolazione degli elementi della scena, il rilevamento delle collisioni, la connessione tra elementi, la modifica dei percorsi di connessione, ecc. Viene fornita un'applicazione di test, basata su una simulazione semplificata di un elementare circuito elettronico, con la rappresentazione 3D dei componenti elettronici e dei cavi, il supporto interattivo per il loro cablaggio e un'interfaccia utente per il controllo dei parametri. L'utente ha la possibilità di effettuare test con il circuito simulato grazie all'ambiente virtuale interattivo, mentre un agente può venire addestrato sia manualmente (teaching by showing) che automaticamente, grazie a un algoritmo di apprendimento per rinforzo configurabile. Quando l'agente compie azioni autonomamente, i risultati vengono visualizzati in tempo reale nell'ambiente virtuale.
UE4
AI
RL
digital-scenario
machine-learning
HCI
experience
C++
Blueprint
File in questo prodotto:
Non ci sono file associati a questo prodotto.

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14243/446155
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact