小鹿出生后10分钟就能站立，不到7个小时就能走路了。在这两个里程碑之间，它四肢胡乱摸索着搞定这一切，非常可爱。
这就是人工智能机器人背后的创意灵感。 尽管自主机器人比如自动驾驶汽车的概念已为大家所熟悉，但自主学习机器人仍然只是个愿景，现有的强化学习算法使机器人能通过不断试错来学习动作，但这些算法仍严重依赖于人类干预。 每次机器人跌倒或走出训练环境时，都需要有人把它捡起来放回到正确的位置。
现在谷歌研究人员的一项新研究获得重大进展，使机器人不靠人类帮助就能学会行走。几小时内，仅靠对现有最先进算法进行微调，他们就成功地让一个四足机器人自行学会向前和向后走，向左和向右转。
这项工作建立在一年前的研究基础上，当时该小组首次发现了如何让机器人在现实世界中学习。强化学习通常通过计算机模拟完成：机器人的虚拟化身在虚拟环境中到处乱跑，直到算法健壮到能安全操作，再将其输入物理机器人。
这种方法能避免在试错过程中对机器人本身及其周围环境造成损伤，但也需要有易于建模的环境。 机器人脚下自然散落的沙砾或床垫弹簧需要很长时间才能模拟出来，这根本不值得。
在这种情况下，研究人员决定一开始就在现实世界中训练以完全避免建模的挑战。 他们设计了一种更高效的算法，可以用更少的试验和更少的错误来学习，并在两个小时内让机器人站起来行走。由于物理环境提供了自然变化，机器人也能够快速适应其他与此相当类似的环境，比如有障碍物的斜坡、台阶、平坦地面。
但是，“谷歌大脑”机器人运动研究团队的论文合著者谭杰（音）说，人类仍然要照看机器人，并且需要手动干扰数百次。
于是他们开始解决这个新问题。 首先，他们限定了机器人可以探索的地形，并让它一次训练多种动作。 如果机器人在学习向前走时到达边界边缘，它就会改变方向，开始学习向后走。
其次，研究人员还限制了机器人的试验动作，使其足够谨慎以减少反复跌倒造成的损害。 当机器人不可避免地摔倒时，他们增加了另一个硬编码算法来帮助它站起来。
通过这些不同的调整，机器人学会了在几种不同表面上自主行走，包括平坦地面，记忆泡沫床垫，和有裂缝的门垫。 这项工作展示了未来的潜在应用，比如要求机器人在无人在场的情况下穿越崎岖的未知地形。
“我认为这项工作相当令人兴奋，”隶属于谷歌公司的斯坦福大学助理教授切尔西 · 芬恩说，虽然她没有参与这项研究。 “把人从这个过程中剔除真的很难。让机器人能更自主地学习，它们就更接近于能够在我们所在的现实世界中学习，而不是在实验室里。”
然而，她警告说，目前的设置仍依赖于机器人方的动作捕捉系统来确定其位置， 这在现实世界中是不可能的。
接下来，研究人员希望将他们的算法应用于不同种类的机器人或在同一环境中同时学习的多个机器人。 谭杰认为，最终，破解运动的奥秘将是发掘更有用的机器人的关键。
联系我们请点击：
数邦客
