大庆机械设备网

当前位置: 首页 >> 机械设备

在AI掌握Go和SuperMario之后科学家们教会了他们如何玩实验

2021年08月18日 大庆机械设备网

在AI掌握Go和Super Mario之后,科学家们教会了他们如何玩实验

受Go和Super Mario等游戏精通人工智能(AI)的启发,美国国家同步加速器光源II(NSLS-II)的科学家培训了AI代理-一种观察和行动的自主计算程序-如何进行使用相同的方法研究超人水平的实验。Brookhaven小组在《机器学习:科学与技术》杂志上发表了他们的发现,并将AI代理作为NSLS-II研究能力的一部分进行了实施。

作为位于美国能源部布鲁克黑文国家实验室的美国能源部(DOE)科学办公室用户设施,NSLS-II每年可以使2000多名研究人员进行科学研究,从而可以访问该设施的超亮X射线中国机械网okmao.com。来自世界各地的科学家来到该实验室,以促进他们在电池,微电子学和药物开发等领域的研究。但是,很难获得在NSLS-II实验站(称为束线)的时间,因为尽管该设施24/7全天候运行,但希望使用它们的研究人员几乎是任何一个站一天可以使用的研究人员的三倍。

射线束科学家丹尼尔·奥尔兹(Daniel Olds)表示:“由于在我们工厂的时间是宝贵的资源,因此有责任成为好管家;这意味着我们需要找到更有效地利用这种资源的方法,以便我们能够开展更多的科学工作。”在NSLS-II上,是该研究的通讯作者。“测量样品的人员是我们的瓶颈。我们提出了一个初始策略,但是在测量过程中要对其进行动态调整以确保一切顺利进行。但是我们不能一直观察测量结果,因为我们不仅需要进行实验,还需要吃饭,睡觉和做更多的事情。”

“这就是为什么我们教一个AI代理人像进行电子游戏一样进行科学实验。这使机器人可以运行实验,而我们(人类)却不在场。它可以实现全天候,完全远程”,这是人工实验,其效率几乎是人类可以达到的两倍。” NSLS-II的研究助理,该研究的第一作者Phillip Maffettone补充道。

根据研究人员的说法,他们甚至不必给AI代理提供运行游戏的“游戏”规则。相反,该团队使用一种称为“强化学习”的方法来训练AI代理如何进行成功的科学实验,然后在来自NSLS-II的“对分布函数”束线的模拟研究数据上测试了他们的代理。

Beamline实验:老板级别的挑战

强化学习是训练AI代理掌握能力的一种策略。强化学习的思想是AI代理感知一个环境-一个世界-并可以通过执行动作来影响它。根据AI代理与世界互动的方式,它可能会获得奖励或惩罚,从而反映出这种特定的互动是一个好选择还是一个糟糕的选择。诀窍在于AI代理保留了与世界互动的记忆,因此它可以从经验中学习何时再次尝试。这样,AI代理便可以通过收集最多的奖励来弄清楚如何完成一项任务。

“强化学习的确非常适合教AI代理如何玩视频游戏。这对于具有简单概念(例如收集尽可能多的硬币)但也具有隐藏层(例如包含更多硬币的秘密隧道)的游戏最为成功。Beamline实验遵循类似的想法:基本概念很简单,但是我们要发现一些隐藏的秘密。从根本上说,要让AI代理运行我们的光束线,我们需要将光束线变成视频游戏。”

Maffettone补充说:“与电子游戏进行比较可以很好地发挥作用。在这两种情况下,AI代理都在规则明确的世界中行动。在Super Mario的世界中,AI代理可以选择上下移动Mario,左,右;在光束线上时,动作将是样品或检测器的运动,并决定何时采集数据,真正的挑战是正确模拟环境-像《超级马里奥》这样的视频游戏已经是一个模拟世界而且您可以让AI代理播放一百万次以学习它。因此,对于我们来说,问题是我们如何模拟光束线,使AI代理可以播放一百万次实验而无需实际运行它们”马菲通。

团队通过构建光束线的虚拟版本来“游戏化”光束线,以模拟真实光束线可以进行的测量。他们使用了AI代理在“播放”时可以在虚拟光束线上进行实验的数百万个数据集。

“培训这些AI与我们在束线中进行的大多数编程都大不相同。您没有明确告诉代理商要做什么,但是您正在尝试找出一种奖励结构,使他们按照自己的方式行事。这是有点像第一次教孩子如何玩电子游戏。您不想告诉他们应该采取的每一个步骤,而是希望他们开始自己推断策略。” 奥尔兹说。

模拟了束线并且AI代理学习了如何使用虚拟束线进行研究实验之后,就该测试AI处理许多未知样本的能力了。

“在我们的光束线中,最常见的实验涉及从一到数百个样品的所有东西,这些样品通常是相同材料或相似材料的变体,但是我们对样品的了解还不够,以至于无法了解如何以最佳方式对其进行测量。因此,作为人类,我们需要一个接一个地进行所有操作,进行快照测量,然后根据这项工作提出一个好的策略,现在,我们让受过训练的AI代理工作即可出来,”奥尔兹说。

在他们的模拟研究场景中,在有限的测量时间(例如有限的测量时间)下,AI代理能够以高达人类两倍的效率来测量未知样品。

“我们不必按照科学家的逻辑来编程如何进行实验,它可以通过反复玩弄自己找出这些策略。” 奥尔兹说。

材料发现:加载新游戏

在AI代理准备好采取行动之后,团队现在该思考如何通过移动束线的实际组件来进行真实的实验。为了应对这一挑战,科学家与NSLS-II的数据采集,管理和分析小组合作,创建了后端基础架构。他们开发了一个名为Bluesky-adaptive的程序,该程序充当AI工具和Bluesky(运行所有NSLS-II光束线的软件套件)之间的通用接口。该界面为在NSLS-II的其他28条光束线上使用类似的AI工具奠定了必要的基础。

“我们的代理现在不仅可以用于一种类型的样本,也可以用于一种类型的测量-它非常适应。我们能够根据需要对其进行调整或扩展。现在有了管道,这将花费我45分钟的时间与该人交谈,并在我的键盘上用15分钟调整代理以适应他们的需求,” Maffettone说。

该团队希望今年春天使用AI代理进行首次真实实验,并正在与NSLS-II的其他光束线积极合作,以使该工具可用于其他测量。

“更有效地使用仪器的时间就像更高效地运行引擎-我们每年都会发现更多的发现。我们希望我们的新工具能够采用一种新的变革性方法,以相同的资源增加用户设施的产量。 ”

使这一进步成为可能的团队还包括NSLS-II DAMA集团的Joshua K. Lynch,Thomas A.Caswell和Stuart I.Campbell,以及布法罗大学的Clara E. Cook。

这项研究得到了BNL实验室指导研究与开发(LDRD)基金和美国能源部(DOE)科学办公室(BES)的支持。国家同步加速器光源II(NSLS-II)是由布鲁克海文国家实验室为美国能源部科学办公室运营的美国能源部科学用户办公室。