Q*搜索：基于深度Q网络的启发式搜索

文章预览

https://prl-theworkshop.github.io/prl2024-icaps/papers/9.pdf Q* Search: Heuristic Search with Deep Q-Networks Q*搜索：基于深度Q网络的启发式搜索 摘要   几十年来，高效解决具有大动作空间的问题一直是人工智能社区的重要课题。这是因为A*搜索的计算和内存需求随着动作空间的大小线性增长。当A*搜索使用由计算成本高昂的函数逼近器（如深度神经网络）学习的启发式函数时，这种负担变得更加明显。为了解决这个问题，我们提出了Q*搜索，这是一种利用深度Q网络引导搜索的算法，以利用一个事实：通过一次前向传播深度Q网络，可以计算一个节点的子节点的转移成本和启发式值的总和，而无需显式生成这些子节点。这显著减少了计算时间，并且每次迭代只需生成一个节点。我们在不同领域和动作空间中使用Q*搜索，结果表明，随着动作大小的增加，Q*搜索仅受到较小的运 ………………………………