卡内基梅隆大学开发出基于强化学习的框架 可提高自动驾驶汽车并道性能车讯
目前很多汽车公司都在投资开发自动驾驶汽车，但到目前为止，自动驾驶汽车还没有达到大规模配置所需的安全水平。为了达到该水平，车辆必须能够安全有效地应对道路上的各种问题。
据外电报道，卡内基梅隆大学（Carnegie Mellon University）的研究人员开发了一个基于强化学习（RL）的框架，可以提高自动驾驶汽车在车灯整合场景中的性能，即如果车灯上的车辆偏离主干道，或者提高自动驾驶汽车的安全性，降低事故风险。
图片来源：arXiv
开发该模型的研究人员之一Soumith Udatha表示：“本次研究关注的是高速车辆、不同风格的驾驶者以及各种不确定性的关联，因此是高速公路的并列。”。
Udatha及其同事致力于提高自动驾驶汽车的安全性。在最近的一篇论文中，这些研究人员尝试设计一个框架来有效捕捉车灯合并场景，并根据对不确定性和可能风险的分析来规划车辆行为。
Udatha说“RL模型与环境交互，收集数据以优化奖励，但由于代理遇到的所有状态都不安全，因此该数据搜索在部署到现实环境中时会遇到一些问题。控制屏障功能（CBF）中描述的场景，使用以下步骤创建明细表，以便在概念设计中分析体量的体积。因此，在环境约束下，我们可以忽略不安全的状态，提高系统学习导航的能力。”
CBF是一种相当新的计算方法，用于加强自动驾驶系统的安全控制。CBF可直接应用于不同的优化问题，包括斜坡合并。但是，CBF执行的优化不考虑系统在探索环境时收集的数据，RL方法有助于填补这一空白。
Udatha说“我们的算法是离线和在线我们发现它可以扩展到RL环境。由于我们目前拥有大量用于离线RL的数据，离线数据集的训练最终可以产生更好的模型。“基于我们的指标，CBF在一定程度上考虑了飞行员的不确定性，因此我们也发现将概率CBF作为约束包括在内可以提供更好的安全性。”。
Udatha及其同事使用由“英特尔实验室”（Intel Labs、和巴塞罗那计算机视觉中心（Computer Vision Center）的研究人员开发的“在线”版CARLA仿真器的一系列测试来测试框架。在这些仿真中，基于RL的框架的成果是显著的，并且揭示了在斜坡合并期间提高自动驾驶车辆安全性的可能价值。
Udatha说“目前，我们计划通过一种培训模式来扩展研究，让驾驶者在不确定的场景下将自动驾驶车与多辆车进行整合。同时，我们发现缺乏比较各种车灯整合方法的标准，因此我们也在尝试为NGSIM建立车灯整合标准。其中NGSIM是NHTSA在美国I-80及101高速公路上发表的高速公路数据集