意念游戏，Facebook收购CTRL-labs：探索非侵入式脑机接口与AR/VR交互的未来

hwyzw

    ｜ 编辑

    今年 OC6 前夕，正式宣布收购 EMG 手势识别和神经接口公司 CTRL-labs，传闻收购规模在 5 亿到 10 亿美元之间。后来，7 月时有消息称曾透露在探索非侵入式脑机接口方案，此方案将与手势操作、语言操控等技术集成，作为 AR/VR 交互的一部分。两件事之间存在明显联系，收购 CTRL-labs 属于一种布局，这种布局很可能是在发展 AR/VR 交互方面的关键一步。

    如何利用 CTRL-labs 的技术达成非侵入式脑机接口方案呢？据悉，CTRL-labs 已研发出以电脉冲信号为基础的腕带设备，此设备能够通过手臂、手腕、手指获取皮肤电信号，并且可以凭借这些信号去追踪以及推断用户的手指活动。

    市面上的其他手势识别方案与之不同，CTRL-labs 不但可以识别手势，还能推断意图并转化为动作。例如，此前青亭网有过报道，CTRL-labs 成功地演示了对发育不全手掌的追踪，并且在电脑中重建和模拟出了完整的虚拟手以及动作。

    那么 CTRL-labs 的技术能否实现想要的非侵入式脑机接口效果呢？今年的网络峰会上，这家公司的 CEO 对其脑机接口技术进行了进一步解释，或许通过此能了解它被收购的原因。

    为什么说是机器学习的难题

    简单来讲，CTRL-labs 期望达成的效果是用新的方式取代键鼠、触屏、语音交互等传统输入形式。并且他们预计在未来几年之后能够凭借单独的神经元直接操控科技设备。这意味着，CTRL-labs 的技术并非是要读取你的想法，而是要识别你的意图。

    为实现这种技术，CTRL-labs 需克服诸多机器学习难题。其一，要让 AI 能够实时对神经元活动和意图进行分析；其二，需让 AI 通过自发随机的重复动作来展开学习；其三，要让 AI 能够快速适应各种不同的情况。

    实时解码神经活动并转化为控制信号需要依靠大量算法。人体原理与之类似，每一系列神经元分为不同的层。例如，在从大脑皮层输送到脊髓的过程中，每一层神经元都需要破译上一层神经元的信息。从神经活动转化为最终动作可能只需几毫秒。

    在这一过程里，你得先捕捉神经元的活动，接着赋予其意义。这意味着我们正借助机器学习算法处理这些计算，并且了解到仅解码部分就需大量精细定制算法才能达到实时速度。倘若由人来进行神经系统分析，或许会耗费几周时间。

    神经系统科学的中心目标在于，要分析单个或多个神经元的活动怎样生成行为，以及神经活动怎样与行为建立联系，还要弄清楚神经元使用了何种代码。然而，这一过程在实时情况下很难得到有效的答案。

    这是因为人脑属于大自然中最为复杂的系统之列。倘若不在脑袋上打个洞，那么要创造出一个能够读懂人脑的算法是极为困难的。所以可以讲，通过对每个神经元的活动进行解码从而来控制机器，这是一个终极的机器学习方面的挑战，同时也是最为复杂的挑战。

    机器学习算法能够教会 AI 玩游戏，然而真正困难之处在于怎样让 AI 以人脑的速度进行思考。

    除此之外，还指出了人体的一种生理现象“运动蹒跚”（Motor）。这种现象指的是人体能够通过自发且随机的重复动作来掌握运动技能。例如，当你初次接触 CTRL-labs 的手势识别腕带时，大脑大概只需 90 秒左右就能适应并完成一项任务。那么在这 90 秒的时间里，你与 EMG 腕带之间发生了什么呢？

    你的大脑在这一过程中会发现，活动某个神经元时会有某种反应。随后，你会生成一个关于全身的神经地图，并将其输出到全身的神经元。然而，这一过程对于新生儿来说是很难做到的，因为抓取物体需要一定的技术和经验。

   

    伸手去抓取是人的本能反应。它比说话、数学、语言更容易学习。你的手和嘴能很熟练地学习如何自然活动，这一过程几乎不需要太多神经活动。对于新生儿而言，可能需要更久的时间去学习。但在学习一年半之后，他们基本上也能了解到身体活动的大致规律。

    学习抓取等动作对于 AI 而言如同新生儿般困难。以喝水为例，在人的一生中，可能会有几百万次拿水杯喝水的经历，然而每一次拿水杯喝水的动作都有所不同，杯子的重量不同，杯子的纹理材质等也各异，但机器人却难以模拟这样的情况。你的胳膊具有 27 自由度，这是一个事实。同时，人脑分析的能力更强，每一个动作都是大脑对神经元活动进行实时处理才得以完成的。

    像大脑那样具备实时的运算处理能力，这是 CTRL-labs 技术所期望实现的效果。它期望借助人类学习身体活动的方式，来帮助我们对电子设备进行控制。

    人体具备优秀的适应能力，能够大致知晓完成任务所需的动作。所以，当抓起水杯放到嘴边时，不会撞到脸上，在这个过程中，几乎不会给人脑带来认知负荷。你无需像机器或电脑那样，需要花费一段时间去思考就知道该如何去做。

    人体具备运动反馈能力，包括寻找和改进动作线索、对动作进行自我调节以及形成独立性技能的过程。同时，这种能力大多未被机器人开发利用。

    CTRL-labs期望借鉴人体运动反馈的原理，使机器能在数秒内学习和运用运动机能。它不仅能大致预估接下来要进行的动作，还能迅速、准确地适应实际状况，就如同人脑那样，可以快速且动态地开启或关闭肌肉活动，以适应每一个单独的场景。

    也就是说，CTRL-labs 的目标是捕捉人类学习的方式。这一目标的实现需要大量计算，并且是一个需要解决的机器学习问题。

    应用1：游戏

    前面提及，CTRL-labs期望能够捕捉到人类学习的方式，以此来推断意图，而非如同侵入式脑机接口那般读取你的想法。那么，CTRL-labs 的技术能够用来做哪些事情呢？在 AR/VR 领域以及游戏等领域，它能够发挥很大的作用，尤其可以取代 PC 等设备的界面以及输入方式。

    比如，CTRL-labs 制作了一种神奇的交互 demo，该 demo 是为谷歌浏览器的小恐龙游戏（一款通过弹跳躲避障碍物的游戏）而制作的。通过手环装置读取 EMG 信号，能够实现用意念控制小恐龙。刚开始，体验者戴上 CTRL-labs 手环后，需通过电脑键盘来控制小恐龙弹跳。经过一段时间适应，即便不用键盘，仅用自己的“意念”也能进行控制。

    这样神奇的操作是如何实现的呢？据悉，从键盘操作切换到无须键盘操作是很迅速的。CTRL-labs 在软件算法方面运用了一些巧妙的构思，在你按键的过程中，会同时匹配你的脑电波活动，直至最后不再依赖按键这一动作。

    表示：用脑电波控制游戏的不同点在于，不再如以往那般需通过活动身体来控制机器，仅需展现出意图便已足够。并且，无论你使用左手还是右手，使用哪根手指按键盘，CTRL-labs 都能够识别你的意图。

    有趣的是，在体验这个 demo 时，无需他人告知何时停止按键盘。你很快就能自然察觉到，即便自己不按键，恐龙也会依照自身意愿跳过障碍。这是由于大脑的适应能力较为强大，它会通过适应来找出解决问题所需的最少动作，而这种适应能力被称作力量调节。

    在抓起杯子喝水这个任务里，大脑会促使最少的神经活动来推动肌肉收缩，从而完成整个动作，而这正是难以被控制的人的天性。

    同理，大脑发现按键盘的动作与恐龙的活动无关时，就会逐渐不再进行这个动作，转而适应意念控制游戏。CTRL-labs 进行了一个实验，让佩戴其 EMG 手环的体验者通过触摸屏来控制游戏或应用，结果发现大约 90 秒后，体验者就不再有触屏动作了。

    这个实验虽然规模较小，但其效果却十分稳定。并且，它还能够不断提升动作的难度，例如能够控制数百个按键。

    应用2：打字

    说到控制按键，就必须提及 CTRL-labs 手环在打字场景的应用。很显然，意念与打字的结合在未来会成为很有潜力的应用场景，然而，这比控制恐龙弹跳要复杂得多。

    据悉，此前的技术与之不同，CTRL-labs 并非让你借助虚拟或实际按键逐个字母打字，而是期望能直接推测出你想要输入的词。其表示，这项技术能够实时操控语言模型，还被称作“构词”功能。从他的描述来看，此功能似乎能成为打字的辅助功能，通过迅速联想词语，比用字母组成词语的速度更快。

   

    补充，CTRL-labs 期望达到的效果是：可以用接近说话的速度进行语言输入。即便对于说话很快的人来说，或许也能实现 250 单词/分钟的速度。总之，就是要让意念打字的速度如同说话般自然且快速。

    当然，这是一个正在开发的技术。目前的 demo 只能实现 40 单词/分钟。这不是一个很快的打字速度。不过随着技术的发展，它在未来仍有潜力替代键盘、触屏或语音等交互方式。

    应用3：AR/VR

    说了这些应用场景后，对于 CTRL-labs 是否会用于 AR/VR 呢？其表示：非侵入式脑机接口在像 AR/VR 这样的新型技术平台上肯定会带来很大价值。不管未来的穿戴式 PC 以何种形式出现（头戴显示器），都需要全新的文字界面。

    CTRL-labs 持有这样的观点：未来语音输入仅仅会是输入方式当中的一部分，不会被频繁使用，并且也不会成为控制机器设备的最终解决办法。之所以会这样，是因为利用语音来推断语境的能力存在着局限性，和文字相比较而言，语音并非是一种优良的输入方式。

    对于 AR/VR 而言，这个平台目前尚未找到十分合适的输入方式。从收购 CTRL-labs 这一行为（甚至打算将其纳入 AR/VR 部门 Labs）可以看出，前者对非侵入式脑机接口与 AR/VR 的结合极为看好。

    尤其是 CTRL-labs 的这项词语联想技术，倘若将其应用于 AR/VR 领域，那么就有希望进一步增强自然交互的体验感。

    CTRL-labs的独特之处

    除了有着神奇的应用场景之外，CTRL-labs 的一大亮点在于致力于对单个神经元进行分析。其效果是，即便没有在人脑中植入脑机接口，也能够识别出你想要做的动作。

    这种非侵入式脑机接口与其他技术有很大差异。对于失去部分运动能力的人而言，前者更侧重于帮助他们重新获得活动机能。而后者的技术，不但要让你凭借意念来控制电脑，还想要让你控制 AI。

    大脑中的每个神经元一般都在执行着各自的任务。然而，若要破解大脑的想法并将其转化为动作，目前可能没有任何一个神经学家能够做到。所以，我们更倾向于利用 EMG 等生物识别信息来识别人的意图，而非想法。这样做是让大脑的意图得以控制，而不是与 AI 分享你的想法。

    以小恐龙游戏 demo 为例，CTRL-labs 手环所识别到的信息是“跳”这一意图，并非是关于在哪里跳的想法。这意味着体验者在看到游戏中的障碍物时会产生跳的意愿，并且运动神经元会随之产生反应，而 CTRL-labs 手环在识别到该意图后便会开始执行任务。

    关于未来与创新

    目前，CTRL-labs面临着诸多难题，除了机器学习等问题外，另一大难题是对不同神经元意图的区分。具体来说，就是要弄清楚哪些神经元在控制机器，哪些在控制身体。据悉，在这方面，CTRL-labs已经取得了一定的突破，能够在相同的神经元上分辨出不同的神经活动。

    为了验证 CTRL-labs 技术能否识别单一神经元的意图，我们进行了大量且足够科学严谨的实验。这些实验展示了被激活的单个神经元，我们将其称为运动单元，也就是与单个神经元相连的一系列肌肉纤维。

    你最关心的问题或许不只是这些，例如这项技术何时能够实现商业化。对此，我们表示：会在未来实现商业化，并且所需时间会比 5 年更短，还有可能会与一种穿戴式设备进行集成。

    参考：

    （END）