Visualisierung des digitalen Zwillings mit AR

Tim Körppen und Christof Thim

Für die Transformation der industriellen Fertigung stellt die Integration der Realwelt und die parallele Abbildung in der Digitalwelt eine wichtige Anforderung dar. Hier greift das Konzept des digitalen Zwillings zur digitalen Repräsentation physischer Objekte. Zur Verbesserung der Mensch-Maschinen-Interaktion zwischen Fabrikpersonal, Anlagen sowie Werkstücken und Steigerung der Transparenz am Shopfloor, kann ein solcher digitaler Zwilling relevante Daten liefern. In diesem Beitrag wird ein Konzept zur Visualisierung des digitalen Zwillings mittels Augmented Reality vorgestellt und evaluiert.

Die Digitalisierung und Transformation der industriellen Fertigung hin zur „Industrie 4.0“ wird maßgeblich durch die Vernetzung der Geschäfts- und Fertigungsprozesse sowie Komponenten der Fertigungsebene vorangetrieben. Dementsprechend hohe Relevanz belegt die konsistente Integration der Realwelt und die parallele Abbildung in der Digitalwelt. Hier bietet das Konzept des digitalen Zwillings einen Lösungsansatz zur digitalen Repräsentation physischer Werkstücke  – und zwar vor, während und nach der Fertigung – bzw. ganzer Anlagen und Maschinen, die miteinander interagieren und in denen Werkstücke bearbeitet werden. So werden beispielsweise vorgelagerte Simulationen, die Optimierung von Prozessen und die prädikative Wartung von Anlagen aber auch nachgelagerte Soll-/Ist-Abgleiche durch den digitalen Zwilling ermöglicht [1].


Bild 1: Komponenten der Simulations-/Fabrikumgebung und Eingliederung
der AR-App zur Visualisierung des digitalen Zwillings

Gleichzeitig wird eine stetige Mensch-Maschinen-Interaktion (Human-Machine Interaction, HMI) zur Kommunikation, Interaktion und Kooperation der menschlichen Ressourcen mit maschinellen Anlagen und digitalen Strukturen als Fundament für eine intelligente Fertigung benötigt. Technologien wie Virtual
Reality (VR), Augmented Reality (AR) sowie Sprach-, Gesichts- und Gestenerkennung bieten eine technologische Basis zur Implementierung einer solchen HMI [2]. 

Echte Potenziale ergeben sich nun durch die Verbindung des Konzepts des digitalen Zwillings, also der Verbindung digitaler Strukturen mit realen Objekten sowie der gleichzeitigen technologischen Integration der menschlichen Ressourcen in physischen Anlagen über digitale Technologien. 


Digitale Transparenz in der Fertigung

In modernen Industrie 4.0-Fabrikumgebungen obliegt die Steuerung der Prozesse und Verwaltung der Ressourcen primär verschiedenen, spezialisierten Softwarelösungen. So steuert beispielsweise das ERP-System den Ressourceneinsatz und gibt eine Grobplanung vor, das ME-System steuert die operative Fertigung und intelligente, vernetzte Geräte verhandeln untereinander über Fertigungsreihenfolgen. Die dabei anfallenden Daten sind für das Personal unsichtbar, bilden jedoch eine notwendige Grundlage für die Entscheidungen in der autonomen Fabrik. Daten und Veränderungen sind für das Fabrikpersonal lediglich über Terminals an Maschinen- und Planungsarbeitsplätzen oder web-basierten User Interfaces einsehbar – ein direkter Bezug zu einzelnen Werkstücken im Fertigungsprozess ist nicht möglich [3]. 

Im operativen Betrieb könnte es jedoch insbesondere zur Steigerung der Transparenz während der Fertigung förderlich sein, Teile des digitalen Zwillings parallel zur Fertigung und Inspektion des realen Zwillings, sichtbar zu machen. Dem Fabrikpersonal wäre es somit möglich, den physischen Fertigungsfortschritt mit den im digitalen Zwilling hinterlegten Daten abzugleichen, ggf. vorgelagerte Arbeitsschritte zu kontrollieren und nachgelagerte Stationen zu steuern. 

In diesem Beitrag wird skizziert, wie Daten aus ERP- und ME-Systemen über AR-Technologie dem Fabrikpersonal am Shopfloor bereitgestellt werden können, um die autonome Fertigung angemessen zu steuern und nachzuvollziehen.

Als konkreten Anwendungsfall zur Konzeption einer solchen Visualisierung des digitalen Zwillings wurde eine Produktionssimulation des Zentrums Industrie 4.0 Potsdam genutzt. Diese spiegelt reale Fertigungsumgebungen auf verschiedene Ebenen, sowohl softwaretechnisch in Anwendungssystemen und IoT-Lösungen als auch durch die physischen Gegebenheiten und Interaktionsmöglichkeiten mit Fabrikmitarbeitern, wider.


Bild 2: Architektur und Funktionen der AR-App zur Visualisierung des digitalen Zwillings

Speziell wurde ein Fertigungsszenario zur Herstellung eines künstlichen Kniegelenks herangezogen. Dieses simuliert unterschiedliche, aufeinanderfolgende Fertigungsstufen, die durch Veränderungen der cyber-physischen Simulationsumgebung des Zentrums Indus-trie 4.0 abgebildet werden. Das Fabrikpersonal muss durch Benutzereingaben an Maschinenterminals vordefinierte Arbeitsschritte befolgen. Ähnlich zu realen Fertigungsprozessen ist es dem Fabrikpersonal während der Simulation nicht möglich, Daten (bspw. aus ERP und MES) zu den Werkstücken direkt am Werkstück angezeigt zu bekommen.


Aufbau und Kernkomponenten des Zentrums Industrie 4.0

Die physische Komponente der Simulationsumgebung kann grob durch Werkstücke, Werkzeuge und die Rollbahnen charakterisiert werden. Für das aktuelle Vorhaben sind insbesondere die Werkstücke von Bedeutung, da diese von der Applikation erkannt werden müssen. Sie dienen als Träger für die zu verarbeitenden Produkte. Diese physischen Bauteile der Simulationsumgebung stellen Bestandteile realer Fabriken, also vom Anwendungsfall abhängige Werkzeuge, Transportmittel und Werkstücke dar.

Gesteuert wird die Simulationsumgebung teilweise zentral, aber auch dezentral auf Werkstück- und Werkzeugebene. Dafür sind verschiedene Mikrocontroller, Einplatinencomputer und (I)IoT-Gateways auf Device-Ebene sowie zentrale Servereinheiten zur übergreifenden Steuerung und Informationsverwaltung (insb. zu den Werkstücken) zuständig. Im realen Fabrikumfeld sind ähnliche Systemlandschaften für die zentrale Verwaltung und Steuerung (bspw. ERP, MES) sowie dezentrale Kommunikation und Interaktion (bspw. über IoT-Plattformen, Sensoren, Aktoren, Embedded-Systems) der Fertigungsprozesse benötigt [4].

Die dritte Komponente der Simulationsumgebung sind menschliche Benutzer in der Rolle eines Fabrikmitarbeiters. Diese interagieren mit den physischen Komponenten der Simulationsumgebung und beeinflussen somit den digitalen internen Zustand.


Bild 3: Veränderung des 3D-Modells zur Visualisierung in der AR-App abhängig von Daten des digitalen Zwillings


Erweiterung der Umgebung mittels Augmented Reality

Die drei oben genannten Komponenten sind über verschiedene Schnittstellen miteinander verbunden, sodass Interaktionen und ein Informationsaustausch stattfinden können. Wie in Bild 1 zu erkennen, stehen sowohl der menschliche Benutzer und die physischen Komponenten der Simulations- bzw. Fabrikumgebung als auch die digitalen und physischen Komponenten in einer bilateralen Beziehung. Der menschliche Benutzer bzw. Werker interagiert über Terminals mit Werkzeugen sowie Werkstücken und verändert so den Simulationszustand oder Fertigungsprozess. Gleichzeitig werden digitale Zustände aktualisiert und neue Steuerungsbefehle übermittelt. Zwischen dem menschlichen Benutzer und den digitalen Komponenten existieren bis auf entsprechende Werkzeugterminals und Benutzeroberflächen der eingesetzten (Anwendungs-)Systeme keine fertigungsnahen Schnittstellen. Hier soll, angelehnt an das AR-Framework von Zexuan Zhu [5], durch die AR-Applikation zur Visualisierung des digitalen Zwillings eine Schnittstelle zwischen den (internen) digitalen Informationen und dem menschlichen Benutzer erzeugt werden, welche gleichzeitig per Augmented Reality die Aspekte der physischen Umgebung einbezieht.

Ein potenzieller Anwendungsfall könnte beispielsweise wie folgt aussehen: 

Während der Produktion eines künstlichen Kniegelenks wurde ein Mitarbeiter der Qualitätssicherung mit der Überprüfung der Produkte beauftragt. Nachdem der Mitarbeiter ein(en) Werkstück(-träger) mit der AR-App gescannt hat, werden ausgewählte Elemente des digitalen Zwillings des erkannten Werkstücks (bspw. produktionsrelevante, dynamische Echtzeit-Informationen, Auftragsinformationen etc.) angezeigt. Zudem wird ein virtuelles 3D-Modell des Werkstücks angezeigt, welches durch entsprechende Planungsdateien dem digitalen Zwilling beigefügt wurde. Dieses 3D-Modell verändert sich abhängig vom Produktionsfortschritt. Echtzeit-Informationen der Fertigung werden in einem separaten Kontextmenü angezeigt. Dem Fabrikpersonal ist es möglich, die digitalen Informationen der AR-App mit dem realen Zustand des Werkstücks direkt während des Fertigungsprozesses abzugleichen und ggf. Änderungen am digitalen Zwilling, direkt über die Eingabemaske der AR-App zu erstellen.

Ein Ansatz zur Umsetzung einer solchen AR-App wurde im Zentrum Industrie 4.0 Potsdam konzipiert und prototypisch implementiert. Als Basis für die Entwicklung des Prototyps wurde die Entwicklungsumgebung Unity3D [6] verwendet. Diese bietet die Möglichkeit der Softwareentwicklung in der Programmiersprache C# in Verbindung mit Funktionen der 3D-Modellierung.


Softwarearchitektur der AR-App
Die AR-App zur Visualisierung des digitalen Zwillings verfolgt eine Model-View-Controller (MVC)-Architektur [7], sodass die Software in drei (teils client- und serverseitige) Module unterteilt werden kann: 

  1. Das Datenmodell stellt serverseitig die Daten zur Verfügung. Diese werden vom Client – der AR-App – über eine Websocket-Verbindung kontinuierlich abgefragt und als JSON-Datei empfangen.
  2. Das Steuerungsmodul (engl. Controller) verarbeitet clientseitig die Daten und verwaltet die Interaktionen mit der Umwelt (Werkstückerkennung etc.). 
  3. Das Präsentationsmodul (engl. View) verarbeitet die Daten weiter, zeigt die Informationen entsprechend an und nimmt Benutzereingaben entgegen. 

Diese modulare Trennung auf Architekturebene erlaubt flexible und unabhängige Entwicklung und Wartung der Softwarekomponenten.

Erkennung der Werkstücke und
Multitarget-Funktionen

Sowohl im realen Fabrikumfeld als auch der Simulationsumgebung des Zentrums Indus-trie 4.0 Potsdam besteht die primäre Anforderung in der Erkennung der physischen Werkstücke, um die Informationen des passenden digitalen Zwillings in der AR-App anzeigen zu können. Hieraus ergeben sich die folgenden zentralen Anforderungen für die Erkennung der Werkstücke in der AR-App:

  1. Eindeutige, fehlerfreie Erkennung der Werkstücke
  2. Erkennung mehrerer Werkstücke und eindeutige Zuordnung der Informationen

Ersteres ist sowohl im Fabrikumfeld als auch in der Simulationsumgebung häufig über spezielle Markierungen – bspw. am Werkstücksträger angebrachte QR-Codes – gelöst. Solche QR-Codes haben den Vorteil, über größere Distanz erkannt zu werden. Zudem wird so eine geräteübergreifende Portabilität der Anwendung ermöglicht, da sowohl Head-Mounted-Displays (HMD, AR-Brillen) als auch Handheld-Devices (Tablets, Smartphones) fähig sind, solche Markierungen zu erkennen.

Zur Bilderkennung im AR-Kontext gibt es verschiedene Bibliotheken und Software-Toolkits. So bietet Apple beispielsweise das ARKit in Verbindung mit der eigenen Entwicklungsumgebung und -sprache xCode bzw. Swift an. In dem vorliegenden Projekt wurde auf die Vuforia Engine [8] zurückgegriffen, da diese für verschiedene Entwicklungsumgebungen (bswp. Unity3D) verfügbar und mit unterschiedlichen Geräteplattformen kompatibel ist. Zudem unterstützt diese die zweite Anforderung der zeitgleichen Erkennung mehrerer Werkstücke (Multitarget-Recognition).


Der digitale Zwilling in der AR-App

Der digitale Zwilling eines Werkstücks kann verschiedene vorgelagerte, aktuelle und simulierte Daten umfassen. Der vorliegende Anwendungsfall zur Visualisierung des digitalen Zwillings, parallel zur Fertigung bzw. Fertigungssimulation, umfasst primär Daten zum aktuellen Zustand des Werkstücks sowie ausgewählte Informationen zum (vorgelagerten) Fertigungsauftrag. Der Fertigungsfortschritt wird sowohl durch Veränderungen an einem 3D-Modell sichtbar (siehe Fertigungsstufen in Bild 3) als auch im Kontextmenü angezeigt. Erweitert werden könnte diese Visualisierung des Fertigungsfortschritts durch Wissensfluss- und Prozessinformationen. Hier zeigen beispielsweise Grum und Gronau einen Ansatz zur Verknüpfung des physischen Werkstücks mit Elementen der Wissens- und Prozessmodellierungssprache KMDL durch Augmented Reality [9].


Bild 4: AR-App zur Visualisierung des digitalen Zwillings im Zentrum Industrie 4.0 in Potsdam

Das dynamische 3D-Modell sowie das Kontextmenü werden dem erkannten Werkstück zugeordnet (Bild 4). Es kann ein paralleler Abgleich des physischen Werkstücks mit den darüber angezeigten Informationen und Modellen erfolgen, ohne zwischen AR-App bzw. Anzeigegerät und physischem Werkstück wechseln zu müssen.


Evaluation

Die Visualisierung des digitalen Zwillings erzeugt Vorteile, insbesondere durch die intuitiv und direkt während der Fertigung zur Verfügung gestellten Daten. Sie beeinflusst sowohl die Transparenz als auch den Arbeitsfluss und bietet somit eine Grundlage für vielfältige Einsatzmöglichkeiten in der Industrie und Forschung. Zur umfassenden Informationsversorgung wird die Anbindung der AR-App an unterschiedlichste Anwendungssysteme im Unternehmen und entlang der Supply Chain benötigt. Dies ist eine allgemeine Herausforderung im Bereich der Unternehmensarchitektur-Integration und somit besonders im Kontext des digitalen Zwillings von Relevanz. Das Erkennen und die Visualisierung des digitalen Zwillings stellt die zweite Hürde der Implementierung einer solchen Applikation dar. Hier bieten unterschiedliche Plattformen geeignete Frameworks zur Entwicklung an. 

Interessant für fortgeschrittene Projekte ist die Erweiterung der Bilderkennung mittels verschiedener Maschine Learning-Technologien. So könnten durch die AR-App bzw. den digitalen Zwilling Produktionsfehler automatisch durch den Abgleich mit entsprechenden Modellen und Fotografien erkannt werden. Ebenfalls ist denkbar, das angezeigte 3D-Modell automatisch – passend zu den vorgelagerten Werkzeugeinstellungen  wie Drehzahl, Werkzeugbeschaffenheit, Druck  und Materialbeschaffenheiten – anzupassen. Aktuell wird die Implementierung immer noch über feste Produktionsschritte angezeigt. 

Sowohl das Konzept des digitalen Zwillings als auch auch der Ansatz zu seiner Visualisierung mit AR-Technologien unterliegen komplexen Herausforderungen, bieten jedoch auch umfangreiche Potenziale zur Entschließung der nächsten Stufen der intelligenten Fabrik.

Schlüsselwörter:

Digitaler Zwilling, Mensch-Maschinen-Interaktion, Augmented Reality, Intelligente Fertigung

Literatur:

[1] Kuhn, T.: Digitaler Zwilling, Informatik Spektrum 40, 440 – 444 (2017)
[2] Ma, X., Tao, F., Zhang, M., Wang, T. Zuo, Y.: Digital twin enhanced human-machine interaction in product lifecycle, CIRP Proceedings Volume 83, 789-793 (2019)
[3] Kritzler, M., Rohde, W.: The Virtual Twin: Controlling Smart Factories using a spatially-correct Augmented Reality Representation, Proceedings of the Seventh International Conference on the Internet of Things (2017)
[4] Bauernhansl, T., Hompel, M., Vogel-Heuser, B.: Industrie 4.0 in Produktion, Automatisierung und Logistik, 173 - 177 (2014)
[5] Zhu, Z., Chao, L., Xu, X.: Visualisation of the Digital Twin data in manufacturing by using Augmented Reality, CIRP Proceedings Volume 81, 898-903 (2019)
[6] Website Unity3D, https://unity.com (Aufgerufen 01.10.2020)
[7] Buschmann, F. et al.: Pattern-oriented Software Architecture, West Sussex 1996. 125ff (1996)
[8] Website Vuforia, https://www.ptc.com/en/products/vuforia (Aufgerufen 01.10.2020)
[9] Grum, M., Gronau, N.: Integration of Augmented Reality Technologies in Process Modeling - The Augmentation of Real World Scenarios with the KMDL, Seventh International Symposium on Business Modeling and Software Design Proceedings, 206-215 (2017)