基于模糊深度Q网络的放煤智能决策方法_中国煤炭行业知识服务平台

基于模糊深度Q网络的放煤智能决策方法

作者

杨艺王圣文崔科飞费树岷
单位

河南理工大学电气工程与自动化学院河南理工大学河南煤矿装备智能检测与控制重点实验室郑州煤矿机械集团股份有限公司郑州煤机液压电控有限公司东南大学自动化学院
摘要

在综放工作面放煤过程中，由于煤尘和降尘水雾对工作人员视线的影响，人工控制放煤存在过放、欠放问题。针对该问题，将液压支架尾梁看作智能体，把放煤过程抽象为马尔可夫最优决策，利用深度Q网络（DQN）对放煤口动作进行决策。然而DQN算法中存在过估计问题，因此提出了一种模糊深度Q网络（FDQN）算法，并应用于放煤智能决策。利用放煤过程中煤层状态的模糊特征构建模糊控制系统，以煤层状态中的煤炭数量和煤矸比例作为模糊控制系统的输入，并将模糊控制系统的输出动作代替DQN算法采用max操作选取目标网络输出Q值的动作，从而提高智能体的在线学习速率和增加放煤动作奖赏值。搭建综放工作面放煤模型，对分别基于DQN算法、双深度Q网络（DDQN）算法、FDQN算法的放煤工艺进行三维数值仿真，结果表明：FDQN算法的收敛速度最快，相对于DQN算法提高了31.6%，增加了智能体的在线学习速率；综合煤矸分界线直线度、尾梁上方余煤和放出体中的矸石数量3个方面，基于FDQN算法的放煤效果最好；基于FDQN算法的采出率最高、含矸率最低，相比基于DQN算法、DDQN算法的采出率分别提高了2.8%,0.7%，含矸率分别降低了2.1%,13.2%。基于FDQN算法的放煤智能决策方法可根据煤层赋存状态对液压支架尾梁动作进行调整，较好地解决了放煤过程中的过放、欠放问题。
关键词

综放工作面智能放煤深度强化学习模糊深度Q网络模糊控制马尔可夫
基金项目(Foundation)

河南省科技攻关计划项目（212102210390）；河南省煤矿智能开采技术创新中心支撑项目（2021YD01）；
文章目录

0 引言
1 基于放煤过程的MDP建模
2 基于FDQN算法的放煤智能决策
2.1 DQN算法
2.2 FDQN算法
2.3 模糊控制系统建模
2.3.1 输入输出变量的确定
2.3.2 模糊化及隶属度函数的确定
2.3.3 模糊推理规则的建立
2.3.4 模糊推理与去模糊化
2.4 基于FDQN算法的放煤决策过程
3 实验结果与分析
3.1 综放工作面放煤模型
3.2 不同算法的收敛速度对比
3.3 不同算法的放煤效果对比
4 结论
引用格式

杨艺,王圣文,崔科飞,费树岷.基于模糊深度Q网络的放煤智能决策方法[J].工矿自动化,2023,49(04):78-85.DOI:10.13272/j.issn.1671-251x.2022090068.
相关文章

[1]基于Q-learning模型的智能化放顶煤控制策略