人工智能控制器能让平流层的气球一连数周待在原地

国际著名学术期刊《自然》最新发表一篇计算机科学研究论文称，一种人工智能控制器能让平流层的气球一连数周待在原地，这一研究结果代表深度强化学习向现实世界应用迈进了重要的一步，将提高全自动环境监测成为现实的可能性。

该论文指，填充氦气的“超压”气球常被用来在高层大气开展实验，比如气象监测，如果被风吹偏了航道，它们就要返回驻点。深度强化学习可以训练人工智能系统进行决策，对于超压气球来说，这些决策包括采取哪些行动来保持它们的位置不变。

论文通讯作者、加拿大蒙特利尔谷歌研究院马克·贝勒马尔(Marc Bellemare)和同事训练了一种人工智能控制器，这种控制器能根据风的历史记录、预报、局地风观测和其他因素(如氦气损失和电池疲劳)，决定是否要移动气球。研究者利用一种数据增强算法来解释数据中的空白，他们将这种命名为StationSeeker的技术应用到分布在全球各地的Loon气球上，包括一项在太平洋上空进行的为期39天的受控实验。实验显示，受到StationSeeker控制的气球能成功实现自主导航，一旦被吹偏航道，它们能比传统控制器控制的气球更快地回到驻点。

英国牛津大学斯科特·奥斯普瑞(Scott Osprey)在《自然》同时发表的“新闻与观点”文章中表示，深度强化学习的应用此前已在受控环境(如电脑游戏)中得到演示，其受控环境拥有完整的数据集和明确定义的参数。但现实世界的可预测性更差，比如关于环境中风的数据就不完整，因而很难采取最优调整，让气球保持在原位。因此，马克·贝勒马尔和同事的研究成果代表了增强学习在现实世界应用的一次巨大进步。