加载模型后,可以向工作流中添加信息。要定义模型以后在Spatial Workplace 应用程序中的显示位置,必须在工作流中添加spatial 引用。
参考资料有三种类型:
标记
标记用于将工作流程中要显示的信息定位在现实组件上所需的位置。为此,需要在编辑器中添加至少一个虚拟标记,将现实中的标记与现实中的组件相对应。不同的设备使用不同类型的标记。然后根据标记的扫描位置在Spatial Workplace 中加载虚拟模型。
有以下几种标记:
- ArUco 标识器:这种标记牌适用于移动设备(iOS 和 Android)。标记的大小可由用户自行调整,范围在 1 厘米到 99 厘米之间。根据经验,应使用 10 厘米(带边框为 12 厘米)或 15 厘米(带边框为 18 厘米)大小的标记,但用户也可以选择与相应组件配合使用的最佳尺寸。
- QR 码标记:这种标记可与 HoloLens 2 配合使用。同样,用户可以调整尺寸。建议的默认值为 15 厘米(带边框为 17 厘米)。
注意:为了正确跟踪,必须以在Spatial 编辑器中添加的相同尺寸打印标记。
为模型添加标记:
- 点击顶部的添加 。
- 根据您的要求选择ArUco或QR 码标记。
- 点击模型表面您想要放置标记的位置。在您放置标记之前,编辑器的其他选项/按钮将被禁用。
- 要更改标记在模型表面上的位置,请选择该标记并单击顶部菜单中的 "对象">"捕捉",或按键盘上的
S
键。 - 使用变换工具或右侧的 "变换 "菜单,更改标记的位置和旋转,而不受模型表面的影响。
6.在右侧,您可以编辑标记的参考信息(ID 和大小)。
注意: 编辑器中使用的虚拟标记必须与使用Spatial Workplace 时放置在现实组件上的现实标记相同,因此要确保标记 ID 相匹配。重要的是要打印正确的标记,并将其放在编辑器中的虚拟标记和现实组件上的相同位置。
点击顶部菜单中的标记PDF,可以下载所有标记。对于大型模型,建议添加一个以上的标记,以便使用 HoloLens 2 进行跟踪。大型模型是指用户需要将视点相对于原始标记位置移动 90 度以上才能看到所有针脚的模型。如果是这种情况,请在实际组件的每个部分(即侧面)添加一个额外的标记。每个标记都有助于设备重新校准插针的位置,确保插针位置正确。
物体追踪器
使用对象跟踪器时,现实生活中的对象被用来计算工作流程中要在所需位置显示的信息的位置。对象跟踪器可用于在 HoloLens 2、iOS 和安卓设备上查看的工作流程。
要在模型中添加对象跟踪器:
- 单击 3D 场景顶部菜单中的添加 > 物体跟踪器 。
- 您将看到一个红色的 智能眼镜全息图(您需要使用鼠标滚轮放大)。该全息图显示了通过智能眼镜感知物体的方式。
3.物体跟踪器相对于场景中模型的位置,代表了用户在Spatial Workplace 中播放工作流程时,必须将设备放置在扫描真实物体的位置和距离。
4.添加对象跟踪器。它现在会自动定位在三维场景摄像头所在的位置(即用户当前在三维场景中观察模型的视角)。
注:用户可以使用鼠标旋转场景,以便从不同角度更好地观察。
5.使用物体追踪器上的小工具来调整其位置或移动摄像头。
6.可选:单击右侧菜单中的 "设置从视图变换 ",将其再次移动到您的查看视角。
注意:重要的是,物体跟踪器与模型之间的距离要合理,并且从跟踪器出来的线要指向模型。
⇒ 上传工作流程后,请在观察设备上测试扫描视角和距离,并在编辑器中进行微调。这样就能保证最终用户获得更好的扫描体验。
注: smartglass 全息图的红色表示没有附加 .obj 文件 。.obj 文件有助于 VisionLib 的对象跟踪功能跟踪现实生活中的组件。
7.要从场景中创建 .obj 文件,请选择红色全息图
8.转到右侧的设置。
9.单击跟踪对象下的分配 > 从场景生成新 对象
10.可选:用户还可以点击 "导出 "并保存.obj 文件,将其保存在电脑上。
注:与导入Spatial 编辑器的模型格式无关,需要从场景生成或从磁盘提供 .obj 文件。
11.现在,三维场景中物体跟踪器的全息图应该变为绿色。
12.可选项:如果在Spatial 中从模型中隐藏或移动了部件,则需要重新生成 .obj 文件,以便在工作流程中包含这些更改。要在使用 Workplace 应用程序时调整初始跟踪的位置和旋转,请启用动态初始姿势 选项。
注: 对于 HoloLens 2 中的对象跟踪,.obj 的比例必须以米为单位。从场景生成 .obj 时,Spatial 会自动确保这一点。但是,如果用户从磁盘中导入具有 VisionLib 许可的现有 .obj,则用户有责任确保缩放比例以米为单位。其他设备则无此限制。
13.使用右侧菜单更改对象跟踪器的位置和旋转。
14.单击 "设置从视图变换"。对象跟踪器会自动移动到 3D 场景的位置和视点。
15.最后,您可以更改跟踪参数值(如下所述),以改善对特定物体的跟踪。
注:其中一个参数是 "静态场景",如果正在使用的场景是动态的,用户可以禁用该参数。该功能目前仅适用于移动设备。
下面列出了所有可用的跟踪参数:
- 动态初始姿势:启用后,用户可在运行时动态设置初始跟踪视角。
- 连续跟踪(仅限移动设备): 如果启用(默认),对象跟踪器将对移动设备进行连续对象跟踪。它更适用于在任务过程中可以移动或旋转但保持形状的物体。 非连续跟踪 仅在任务开始时跟踪物体,然后使用 SLAM 继续跟踪。非连续跟踪更适用于在任务过程中不移动或不旋转且形状会发生变化(如添加或删除部件)的物体。
- 可扩展跟踪:如果启用(默认),基于模型的跟踪将通过基于 SLAM 的跟踪进行扩展。这样,即使模型在摄像机图像中不再可见,跟踪也能继续进行。用户需要进行 SLAM 舞动,即平移和旋转摄像头,以便有足够的基线进行特征重建。
- 最小值Inlier Ratio Init:初始化期间验证跟踪的阈值。数值范围为 0.5 至 0.9,默认值为 0.6。如果线条模型在无遮挡的情况下与真实物体完全匹配,建议使用较高的值。但通常情况下,它们不会完全匹配,因此较低的值效果更好。
- 拉普拉斯阈值:创建线条模型的阈值(毫米)。数值范围为 0.0001 至 100000,默认值为 5。这指定了两个相邻像素之间被识别为边缘的最小深度。
- 正常阈值:生成线条模型的阈值。数值范围从 0.0001 到 1000,默认值为 1000。它规定了两个相邻像素之间的最小法线差值,以便将其识别为边缘。通常情况下,由于基于法线的线条识别并不可靠,因此将其设置为较高值。不过,对于某些模型,使用较低的值也是有意义的。
- 线条梯度阈值:图像中候选边缘的阈值。数值范围从 0 到 256,默认值为 40。高值只会将对比度高的像素作为候选像素,而低值也会将其他像素作为候选像素。这是一种权衡。如果候选像素太多,算法可能会选择错误的像素。如果候选像素不足,线条模型可能无法贴近图像中的物体。
- 关键帧距离:关键帧之间的最小距离(毫米)。数值范围为 0.001 至 100000,默认值为 100。线条模型只针对特定的关键帧生成。数值越大,性能越好,但精度越低(反之亦然)。
- 相对搜索线长度(Line Search Length Init Relative):在初始化和跟踪过程中,正交搜索线相对于最小分辨率的长度(百分比)。数值范围从 0.00625 到 1,默认值为 0.03125。基于模型的跟踪器会将 3D 线条模型投影到摄像机图像中,并搜索与投影线条正交的边缘像素。
- 使用颜色:默认禁用。如果启用,则在跟踪时可以更好地区分彩色边缘。它只对有彩色边缘的物体有用。它可以提高跟踪质量,但需要更多的处理能力。
- 视野(仅限 HoloLens 2):视野越大,物体在图像捕捉过程中看起来就越小。建议对大型物体使用 "宽 "视场,对小型物体使用 "窄 "视场。
模型放置参考
模型定位使用Spatial Workplace 启动时的用户位置来定位所有模型和连接到spatial 参考点的引脚。
它可用于在 HoloLens 2、iOS 和安卓设备上查看的工作流程。
要添加模型放置spatial 参考:
- 单击 3D 场景顶部的添加 > 模型放置 。小工具只允许沿绿色和红色轴移动,以及绕蓝色轴旋转。这一限制的目的是将模型放置参考保持在同一平面上。
2.绿色箭头表示用户的视线方向。用户可以在右侧菜单中选择根据此参考定位的模型。在Spatial Workplace 中启动工作流程时,所选模型和连接的针脚将根据用户启动Spatial Workplace 应用程序时的视图方向进行定位。
模型可见性: 与连接到spatial 引用的引脚不同,模型默认不可见。要在播放工作流时使其可见,您需要: 1:
如需了解更多信息,请参阅 "跟踪建议"。