虽然微软HoloLens当前的显示技术已经很不错，可以将虚拟现实世界的信息与现实世界产生互动，但实际控制起来还略显尴尬，一系列眼球追踪和手势识别操作仍然不甚精确。
现在微软的一项新专利表明将在HoloLen眼球或视线追踪方面迎来突破进展，日常中使用的物品等可以帮助用户接触和控制虚拟现实世界。
未来微软HoloLens用户将可以通过视线内的选择物品，然后这些物体将产生关联的菜单和控制选项。在微软的举例中，一名男子工人在看着他的妻子激活悬停在桌子上方的家庭日历显示，用户进而可以访问和操作。这些信息可能被永久地附加到图片上，即使是图片移动到另一个地方，仍然可以唤出信息。
微软还在想象真实的生活场景物体将被用于虚拟世界操作，比如看到办公室的篮球就可以激活体育广播，向左或者向右旋转球体就可以控制声音的大小。
另外还能向其他人传送文档在其办公桌上做好物理标记，数字文档链接到物体上，微软HoloLens增加发光的全息影像来吸引用户关注。
