Nachdem Sie ein Modell geladen haben, können Sie dem Workflow Informationen hinzufügen. Um festzulegen, wo das Modell später in der Spatial Workplace App angezeigt wird, muss dem Workflow eine spatial Referenz hinzugefügt werden.
Es gibt drei Arten von Referenzen:
- Markierungen
- Objekt-Tracker
- Referenzen für die Modellplatzierung
Markierungen
Ein Marker wird verwendet, um Informationen, die innerhalb eines Workflows angezeigt werden sollen, an der gewünschten Stelle über der realen Komponente zu positionieren. Dazu muss im Editor mindestens ein virtueller Marker an der Stelle eingefügt werden, an der sich der reale Marker in Bezug auf die reale Komponente befinden soll. Verschiedene Geräte verwenden unterschiedliche Arten von Markern. Das virtuelle Modell wird dann entsprechend der gescannten Position des Markers in Spatial Workplace geladen.
Es gibt die folgenden Arten von Markern:
- ArUco-Marker: Diese Art von Marker ist für die Verwendung mit mobilen Geräten gedacht (iOS und Android). Die Größe des Markers kann vom Benutzer eingestellt werden und kann zwischen 1 und 99 cm betragen. Als Faustregel sollten Marker mit einer Größe von 10 cm (12 cm mit Rändern) oder 15 cm (18 cm mit Rändern) verwendet werden, aber der Nutzer hat die Möglichkeit, die Größe zu wählen, die am besten mit der jeweiligen Komponente funktioniert.
- QR-Code-Marker: Diese Art von Marker ist für die Verwendung mit einer HoloLens 2 gedacht. Auch hier kann die Größe vom Benutzer angepasst werden. Die vorgeschlagene Standardgröße ist 15 cm (17 cm mit Rändern).
Hinweis: Für eine korrekte Verfolgung ist es notwendig, die Markierung in der gleichen Größe zu drucken, wie sie im Spatial Editor hinzugefügt wurde.
So fügen Sie eine Markierung zu Ihrem Modell hinzu:
- Klicken Sie oben auf Hinzufügen .
- Wählen Sie je nach Bedarf entweder ArUco- oder QR-Code-Marker.
- Klicken Sie auf die Fläche des Modells, auf der Sie den Marker platzieren möchten. Die anderen Optionen/Schaltflächen des Editors sind deaktiviert, bis Sie den Marker platzieren.
- Um die Position des Markers auf der Oberfläche des Modells zu ändern, wählen Sie ihn aus und klicken Sie im oberen Menü auf Objekt > Fangen oder drücken Sie
S auf der Tastatur. - Ändern Sie die Position und Drehung von Markern unabhängig von der Oberfläche des Modells, indem Sie die Transformations-Gizmos oder das Transformieren-Menü auf der rechten Seite verwenden.
6. Auf der rechten Seite können Sie die Referenz der Markierung (ID und Größe) bearbeiten.
Hinweis: Der virtuelle Marker, der im Editor verwendet wird, muss mit dem realen Marker übereinstimmen, der auf dem realen Bauteil platziert wird, wenn Sie Spatial Workplace verwenden. Stellen Sie also sicher, dass die Marker-ID übereinstimmt. Es ist wichtig, den richtigen Marker zu drucken und ihn sowohl im virtuellen Editor als auch auf dem realen Bauteil an der gleichen Stelle zu platzieren.
Alle Marker können heruntergeladen werden, indem Sie im oberen Menü auf Marker-PDF klicken. Bei großen Modellen empfiehlt es sich, mehr als einen Marker hinzuzufügen, um das Tracking mit HoloLens 2 zu erleichtern. Ein großes Modell ist ein Modell, bei dem der Benutzer seinen Blickpunkt um mehr als 90 Grad in Bezug auf die Position des ursprünglichen Markers bewegen muss, um alle Pins zu sehen. Wenn dies der Fall ist, fügen Sie jedem Abschnitt (d. h. jeder Seite) Ihrer realen Komponente einen zusätzlichen Marker hinzu. Jede Markierung hilft dem Gerät, die Position der Stifte neu zu kalibrieren, um deren korrekte Platzierung zu gewährleisten.
Objekt-Tracker
Bei der Verwendung von Objekt-Trackern wird das reale Objekt verwendet, um die Position der Informationen zu berechnen, die innerhalb eines Workflows an der gewünschten Stelle angezeigt werden sollen. Objekt-Tracker können in Workflows verwendet werden, die auf HoloLens 2, iOS- und Android-Geräten angezeigt werden.
So fügen Sie einen Objekt-Tracker zu Ihrem Modell hinzu:
- Klicken Sie im Menü oben in der 3D-Szene auf Hinzufügen > Objekt-Tracker .
- Sie werden ein rotes Hologramm der Smartglasses sehen (Sie müssen mit dem Scrollrad Ihrer Maus herauszoomen). Dieses Hologramm zeigt, wie das Objekt durch eine Smartglasses wahrgenommen wird.
3. Die Position des Objektverfolgers in Bezug auf das Modell in der Szene stellt die Position und Entfernung dar, in der der Benutzer sein Gerät positionieren muss, um das reale Objekt zu scannen, während er den Arbeitsablauf in Spatial Workplace abspielt.
4. Fügen Sie den Objekt-Tracker hinzu. Er wird nun automatisch dort positioniert, wo sich die Kamera der 3D-Szene befindet (d. h. in der Perspektive, in der der Benutzer das Modell in der 3D-Szene gerade betrachtet).
Hinweis: Mit der Maus kann der Benutzer die Szene drehen, um sie aus verschiedenen Perspektiven besser zu sehen.
5. Verwenden Sie das Gizmo über dem Objekt-Tracker, um seine Positionen zu verfeinern oder die Kamera zu bewegen.
6. Optional: Klicken Sie im Menü rechts auf Transformieren aus Ansicht einstellen , um die Ansicht wieder in Ihre Perspektive zu verschieben.
Hinweis: Es ist wichtig, dass sich der Objektverfolger in einem angemessenen Abstand zum Modell befindet und dass die von ihm ausgehende Linie auf das Modell gerichtet ist.
⇒ Testen Sie nach dem Hochladen Ihres Workflows die Scanperspektive und den Abstand auf einem Betrachtungsgerät und nehmen Sie die Feinabstimmung im Editor vor. Auf diese Weise wird sichergestellt, dass der Endnutzer ein besseres Scan-Erlebnis hat.
Hinweis: Die rote Farbe des Smartglass-Hologramms bedeutet, dass keine .obj-Datei angehängt ist. Die .obj-Datei unterstützt die Objektverfolgung von VisionLib, um die reale Komponente zu verfolgen.
7. Um eine .obj-Datei aus der Szene zu erstellen, wählen Sie das rote Hologramm
8. Gehen Sie zu den Einstellungen auf der rechten Seite.
9. Klicken Sie auf Zuweisen > Neu erzeugen aus Szene unter Verfolgtes Objekt
10. Optional: Der Benutzer kann die .obj-Datei auch auf seinem Computer speichern, indem er auf Exportieren klickt und die Datei speichert.
Hinweis: Unabhängig vom Modellformat, das in Spatial Editor importiert wird, muss eine .obj-Datei aus der Szene erzeugt oder von der Festplatte bereitgestellt werden.
11. Jetzt sollte das Hologramm des Object Trackers in der 3D-Szene seine Farbe auf grün ändern.
12. Optional: Wenn Teile in Spatial ausgeblendet oder aus dem Modell verschoben werden, muss die .obj-Datei neu generiert werden, um diese Änderungen in Ihrem Arbeitsablauf zu berücksichtigen. Um die Position und Drehung der anfänglichen Verfolgung bei der Verwendung der Workplace-App anpassen zu können, aktivieren Sie die Option Dynamische Ausgangsposition .
Hinweis: Für die Objektverfolgung in HoloLens 2 muss der Maßstab der .obj-Datei in Metern angegeben werden. Beim Erzeugen des .obj aus der Szene stellt Spatial dies automatisch sicher. Wenn der Benutzer jedoch ein bestehendes .obj mit einer VisionLib-Lizenz von einem Datenträger importiert, liegt es in der Verantwortung des Benutzers, sicherzustellen, dass der Maßstab in Metern angegeben wird. Bei anderen Geräten gibt es diese Einschränkung nicht.
13. Ändern Sie die Position und Drehung des Objekt-Trackers über das Menü auf der rechten Seite.
14. Klicken Sie auf Transformieren aus Ansicht einstellen. Der Objekt-Tracker wird automatisch an die Position und den Blickwinkel der 3D-Szene verschoben.
15. Schließlich können Sie die Werte der Tracking-Parameter (siehe unten) ändern, um das Tracking für ein bestimmtes Objekt zu verbessern.
Hinweis: Einer dieser Parameter ist der Parameter Statische Szene, den der Benutzer deaktivieren kann, wenn die Szene, mit der er arbeitet, dynamisch ist. Diese Funktion ist derzeit nur auf mobilen Geräten verfügbar.
Hinweis: Die Standardwerte sind allgemeine Parameter, die für die meisten Objekte geeignet sind.
Hier finden Sie eine Liste aller verfügbaren Tracking-Parameter:
- Dynamische Ausgangsposition: Wenn diese Option aktiviert ist, kann der Benutzer den anfänglichen Verfolgungsstandpunkt während der Laufzeit dynamisch festlegen.
- Kontinuierliche Verfolgung (nur für Mobilgeräte): Wenn diese Option aktiviert ist (Standardeinstellung), wird die Objektverfolgung für mobile Geräte kontinuierlich durchgeführt. Es ist besser geeignet für Objekte, die während der Aufgabe bewegt oder gedreht werden können, aber ihre Form behalten. Die nicht-kontinuierliche Verfolgung verfolgt das Objekt nur zu Beginn der Aufgabe und setzt dann die Verfolgung mit SLAM fort. Die nicht kontinuierliche Verfolgung eignet sich besser für Objekte, die während der Aufgabe nicht bewegt oder gedreht werden und ihre Form ändern (z. B. wenn Teile hinzugefügt oder entfernt werden).
- Erweiterbares Tracking: Wenn diese Option aktiviert ist (Standard), wird das modellbasierte Tracking durch SLAM-basiertes Tracking erweitert. Dadurch kann die Verfolgung auch dann fortgesetzt werden, wenn das Modell im Kamerabild nicht mehr sichtbar ist. Der Benutzer muss einen SLAM-Tanz durchführen, d. h. die Kamera so verschieben und drehen, dass eine ausreichende Basislinie für die Merkmalsrekonstruktion vorhanden ist.
- Min. Inlier Ratio Init: Schwellenwert für die Validierung der Verfolgung während der Initialisierung. Der Wertebereich reicht von 0,5 bis 0,9, wobei 0,6 der Standardwert ist. Höhere Werte werden empfohlen, wenn das Linienmodell perfekt mit dem realen Objekt übereinstimmt, ohne dass es verdeckt ist. In der Regel werden sie jedoch nicht perfekt übereinstimmen, weshalb ein niedrigerer Wert besser geeignet ist.
- Laplace-Schwellenwert: Schwellenwert für die Erstellung des Linienmodells (mm). Der Wertebereich reicht von 0,0001 bis 100000, wobei 5 der Standardwert ist. Hier wird die Mindesttiefe zwischen zwei benachbarten Pixeln angegeben, die als Kante erkannt werden soll.
- Normaler Schwellenwert: Schwellenwert für die Erstellung des Linienmodells. Der Wertebereich reicht von 0,0001 bis 1000, wobei 1000 der Standardwert ist. Dieser Wert gibt die minimale normale Differenz zwischen zwei benachbarten Pixeln an, die notwendig ist, um als Kante erkannt zu werden. In der Regel wird er auf einen hohen Wert gesetzt, da normalbasierte Linien nicht sehr zuverlässig erkannt werden können. Für bestimmte Modelle kann es jedoch sinnvoll sein, einen niedrigeren Wert zu verwenden.
- Schwellenwert für den Linienverlauf: Schwellenwert für Kantenkandidaten im Bild. Der Wertebereich reicht von 0 bis 256, wobei 40 der Standardwert ist. Bei hohen Werten werden nur Pixel mit hohem Kontrast als Kandidaten betrachtet, während bei niedrigen Werten auch andere Pixel berücksichtigt werden. Dies ist ein Kompromiss. Wenn es zu viele Kandidaten gibt, wählt der Algorithmus möglicherweise die falschen Pixel aus. Wenn es nicht genügend Kandidaten gibt, bleibt das Linienmodell möglicherweise nicht am Objekt im Bild haften.
- Keyframe-Abstand: Mindestabstand zwischen Keyframes (mm). Der Wertebereich reicht von 0,001 bis 100000, wobei 100 der Standardwert ist. Das Linienmodell wird nur für bestimmte Keyframes erzeugt. Höhere Werte verbessern die Leistung, gehen aber mit einer geringeren Präzision einher (und umgekehrt).
- Liniensuchlänge Initativ Relativ: Länge der orthogonalen Suchlinien (in Prozent) relativ zur Mindestauflösung während der Initialisierung und Verfolgung. Der Wertebereich reicht von 0,00625 bis 1, wobei 0,03125 der Standardwert ist. Der modellbasierte Tracker projiziert das 3D-Linienmodell in das Kamerabild und sucht nach Kantenpixeln orthogonal zu den projizierten Linien.
- Farbe verwenden: Diese Option ist standardmäßig deaktiviert. Wenn sie aktiviert ist, werden farbige Kanten beim Tracking besser unterschieden. Sie ist nur für Objekte mit farbigen Kanten nützlich. Sie kann die Verfolgungsqualität erhöhen, erfordert aber mehr Rechenleistung.
- Sichtfeld (nur HoloLens 2): Ein größeres Sichtfeld lässt das Objekt bei der Bildaufnahme kleiner erscheinen. Es wird empfohlen, "Weit" für große Objekte und "Eng" für kleine Objekte zu verwenden.
Referenzen für die Modellplatzierung
Die Modellplatzierung verwendet die Benutzerposition beim Start von Spatial Workplace, um alle Modelle und Pins zu positionieren, die mit der Referenz spatial verbunden sind.
Sie kann in Workflows verwendet werden, die auf HoloLens 2, iOS- und Android-Geräten angezeigt werden.
So fügen Sie eine Modellplatzierung spatial Referenz hinzu:
- Klicken Sie auf Hinzufügen > Modellplatzierung am oberen Rand der 3D-Szene. Die Gizmos erlauben nur Bewegungen entlang der grünen und roten Achsen und eine Drehung um die blaue Achse. Diese Einschränkung soll dafür sorgen, dass die Referenz der Modellplatzierung auf derselben Ebene bleibt.
2. Der grüne Pfeil symbolisiert die Blickrichtung des Benutzers. Der Benutzer kann im Menü auf der rechten Seite auswählen, welche Modelle entsprechend dieser Referenz positioniert werden. Beim Starten des Workflows in Spatial Workplace werden die ausgewählten Modelle und angeschlossenen Pins in Bezug auf die Blickrichtung des Benutzers beim Starten der Spatial Workplace App positioniert.
Sichtbarkeit des Modells: Anders als die Pins, die mit einer spatial Referenz verbunden sind, sind Modelle standardmäßig nicht sichtbar. Um sie während der Wiedergabe des Workflows sichtbar zu machen, müssen Sie entweder:
Weitere Informationen finden Sie unter Tracking-Empfehlungen.
