(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110019565.4 (22)申请日 2021.01.07 (65)同一申请的已公布的文献号 申请公布号 CN 112836858 A (43)申请公布日 2021.05.25 (73)专利权人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 王晓宁　刘民壮　杨昌运　宋宇　 崔梓钰　王丽芬　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 代理人 岳昕 (51)Int.Cl. G06Q 10/04(2012.01)G06Q 10/02(2012.01) G06Q 10/08(2012.01) G06F 30/27(2020.01) (56)对比文件 CN 101782 982 A,2010.07.21 US 2020378772 A1,2020.12.0 3 王丽芬.不同碳税征收模式对 多式联运减排 的影响研究. 《中国学位 论文全文数据库》 .2020, 李婷.基于强化学习的路径规划算法研究. 《中国优秀硕士学位 论文全文数据库》 .2020, 审查员 刘曼 (54)发明名称 一种集装箱多式联运减排路径选择方法、 系 统及装置 (57)摘要 一种集装箱多式联运减排路径选择方法、 系 统及装置， 属于交通运输技术领域。 为了解决目 前的多式联运减排路径选择方法中确定的联运 方式存在确定运输策略的效率低的问题和策略 对应的实际运输效率低的问题。 本发 明针对不同 的碳税征收模式确定集装箱多式联运减排效用 模型； 然后以集装箱为智 能体， 以多式联运减排 路径的总效用为目标任务， 建立Q表； 将多式联运 减排路径的起、 终点作为Q表的起、 终点， 利用基 于强化学习算法对实现集装箱多式联运减排路 径的选择。 主要用于集装箱多式联运减排的路径 选择。 权利要求书2页 说明书7页 附图1页 CN 112836858 B 2022.03.01 CN 112836858 B 1.一种集装箱多式联运减排路径选择 方法， 其特 征在于， 包括以下步骤： 针对不同的碳税征收模式确定集装箱多式联运减排效用模型， 不同的碳税征收模式包 括两种碳税征收模式， 分别为单一税率征收模式以及分段累进税率征收模式； 单一税率征收模式下的集装箱多式联运减排效用模型为： 约束条件如下： 其中， m、 n为运输方式； 是决策变量， 表示在i与j节点之间能否以运输方式m运输货 物； 是决策变量， 表示在i节点处能否由运输方式m转换为运输方式n； C表示集装箱多 式 联运减排总效用； 表示不同运输方式的基本运输效用； Chandle为货物的转运效用； Csafe 为货物的安全效用； Ctime为货物的时间效用； CE为货物的碳排放效用； β 为 单一税率 征收模式 下的碳税效用函数； 为从节点i 转运到节点j过程中m运输方式的碳排放 量； 表示在i与 j之间运输方式m的货运 量； Q表示总货运 量； 分段累进税率征收模式下的集装箱多式联运减排效用模型： 基于单一税率征收模式将 货物的碳 排放效用CE为替换为CZ： 式中， Ek表示不同碳税征收区间内允许的最大碳排放量； βk表示不同碳税区间的碳税 率； k为碳税征收区间的个数； 然后以集装箱为智能体， 以多式联运减排路径 的总效用为目标任务， 建立Q表； 将多式 联运减排路径的起、 终点作为Q表的起、 终点， 利用基于强化学习算法实现对集装箱多式联 运减排路径的选择； 利用基于强化学习算法实现对集装箱多式联运减排路径的选择的过程包括以下步骤： 设定P为多式联运过程所有城市节点构成的集合； N为运输方式集合； 将多式联运减排 路径的起、 终点作为 Q表的起、 终点； 智能体从Q表中的起 点出发， 根据 ε ‑贪婪算法从Q表中选择动作A并执 行动作A；权　利　要　求　书 1/2 页 2 CN 112836858 B 2根据奖赏 函数以及智能体动作产生的状态变化更新 Q表； 然后， 智能体继续从当前所处状态出发， 根据 ε ‑贪婪算法从Q表中选择动作A并执行， 更 新Q表； 判断是否达到多式联运路径的终点， 若未达到， 智能体继续从当前所处状态出发； 若达 到多式联运路径的终点， 判断是否达到 设定的迭代次数； 若达到， 则优化结束， 此时得到的Q 表即优化后的减排路径选择策略； 若未达到， 判断Q表是否收敛， 若Q表收敛， 则得到了多式 联运减排路径选择 的最优策略， 若Q表未收敛， 则重新从Q表中的起点出发进行多式联运减 排路径的选择； 奖赏函数R如下： 其中， R为奖赏函数， 为当前状态S下执行动作A对智能体学习环境的反馈信息； C ’为一 个常数， 对智能体 状态变化后的奖惩情况进行量 化估计。 2.根据权利要求1所述的一种集装箱多式联运减排路径选择方法， 其特征在于， 所述根 据奖赏函数以及智能体动作产生的状态变化更新 Q表的更新公式如下 Q(S， A)＝ Q(S， A)+α(R+γmaxAQ(S′， A′)‑Q(S， A)) 其中： Q(S， A)为在S状态下采取A动作能够获得收益的期望， S为当前状态， A为当前状态 的动作， S ′为下一个 状态， A′为下一个 状态的动作； γ为 折扣因子； α 为学习速率。 3.一种集装箱多式联运减排路径选择系统， 其特征在于， 所述系统用于执行权利要求1 至2之一所述的一种集装箱多式联运减排路径选择 方法。 4.一种集装箱多式联运减排路径选择装置， 其特征在于， 所述装置用于存储和/或运行 权利要求3所述的一种集装箱多式联运减排路径选择系统。权　利　要　求　书 2/2 页 3 CN 112836858 B 3