(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210201601.3 (22)申请日 2022.03.02 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 杨世春　冯鑫杰　曹耀光　陈昱伊　 张梦月　彭朝霞　高灵飞　马源　 (74)专利代理 机构 北京海虹嘉诚知识产权代理 有限公司 1 1129 专利代理师 朱亚娜　吴小灿 (51)Int.Cl. G06F 40/295(2020.01) G06F 16/28(2019.01) G06F 16/36(2019.01) G06F 16/951(2019.01) G06N 20/00(2019.01) (54)发明名称 一种基于知识图谱的自动驾驶决策方法和 系统 (57)摘要 一种基于知识图谱的自动驾驶决策系统， 包 括知识图谱库和决策强化学习模块。 知识图谱库 将互联网上的驾驶知识映射 成三元组的形式， 利 用驾驶知识图谱进行知 识表达与推理， 既能分类 管理海量的知识， 又能减少传统的规则 ‑案例匹 配过程所花费的时间， 使 得知识检索的实时性提 高。 所述知识图谱库获取驾驶场景并通过其内存 储的驾驶场景经验样本为决策强化学习模块提 供专家经验， 进而向决策模块输出高置信度的驾 驶策略， 引导决策模块适应复杂多变的交通环 境， 保证车辆的安全性， 同时通过知识图谱的知 识图实现自动驾驶决策信息的可解释性， 增加自 动驾驶决策系统的可信度， 提升乘 客对于自动驾 驶车辆的信任度。 权利要求书2页 说明书8页 附图2页 CN 114818707 A 2022.07.29 CN 114818707 A 1.一种基于知识图谱的自动驾驶决策系统， 其特征在于， 包括知识图谱库和决策强化 学习模块； 所述知识图谱库获取驾驶场景并通过其内存储的驾驶场景经验样本为决策强化 学习模块 提供专家经验， 进 而向决策模块输出高置信度的驾驶策略； 所述知识图谱库包括数据获取模块、 实体识别模块、 关系抽取模块和图谱 存储模块； 所述数据获取模块包括数据爬取分模块和数据清洗分模块， 所述数据爬取分模块从互 联网上爬取海量的交通原始数据， 数据清洗分模块通过数据 清洗去除所述交通原始数据中 的重复数据和空数据， 得到有效数据； 所述实体识别模块通过实体识别深度学习模型对所述有效数据进行稳定识别得到各 个实体名称； 所述关系抽取模块通过关系抽取模型对识别出的实体名称进行标记和特征选择得到 各实体名称对应的实体之间的实体关系； 所述图谱存储模块通过Neo4j图数据库来存储包括各个实体名称和实体关系的知识图 谱， 并利用属性图模型进行知识图谱的实时存 储与查询工作； 所述决策强化学习模块包括驾驶场景复杂度计算分模块和最优驾驶行为策略计算分 模块； 所述驾驶场景复杂度计算分模块基于知识图谱库计算驾驶场景复杂度； 所述最优驾 驶行为策略计算分模块将驾驶场景复杂度引入到决策强化学习模型中筛选出最优驾驶行 为策略。 2.根据权利要求1所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述驾驶场景 复杂度计算分模块对驾驶场景中实体关系的类别进行安全性综合评判得到场景复杂度综 合取值E； 所述场景复杂度综合取值E作为知识图谱的三元组 “值”元素参与自动 驾驶决策系 统的构建； 所述安全性综合评判是指将实体关系中对主车安全性影响因素较大的类别归到 高级别安全等级并按照安全等级i对其赋予安全性评判的分级值Xi； 所述场景复杂度综合 取值E＝α1X1+α2X2+…+αiXi， 其中， αi为场景复杂度变量， 通过感知层中得到驾驶场景中的环 境要素， 查询知识图谱库映射 安全性评判值， 若某一 安全等级存在αi为1， 否则αi为0。 3.根据权利要求1所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述实体识别 模块包括 实体识别深度学习模型建立分模块； 所述实体识别深度学习模型建立分模块包括 实体小样本标注数据集、 实体数据预处理单元和实体深度学习 单元； 所述实体小样本标注 数据集为通过人工标注的实体数据集； 所述 实体数据预处理单元将有效数据中连续的字序 列根据实体数据集进行重新组合成连续的词序列， 利用停用词典去除对于识别无关的词 语， 得到预处理实体数据； 所述实体深度学习 单元采用双向长短期记忆网络和条件随机模 型实现对预处 理实体数据中的驾驶场景 元素实体的有效识别。 4.根据权利要求3所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述实体识别 深度学习模型包括经 过测试和训练的Bi LSTM‑CRF模型。 5.根据权利要求1所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述关系抽取 模块包括关系抽取模型建立分模块， 所述关系抽取模型建立分模块包括关系小样本标注数 据集、 数据关系预处理单元和关系深度学习 单元； 所述关系小样本标注数据集为通过人工 标注的实体关系数据集； 所述数据关系预 处理单元根据实体关系数据集将识别出的实体名 称组成实体对， 并保存其在有效数据中的位置、 各实体的类别、 实体对周围的词性和修饰 语， 得到标注后的实体 关系数据集； 所述关系抽取模型根据标注后的实体关系数据集， 将识权　利　要　求　书 1/2 页 2 CN 114818707 A 2别的实体名称与对应实体关系关联， 得到 关系特征； 所述关系特征包括 实体特征、 实体类别 特征、 上下文特征、 词性特 征、 位置特 征和修饰 语特征。 6.根据权利要求5所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述关系抽取 模型包括经 过测试和训练的Bi LSTM‑Attention模型。 7.根据权利要求1所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述决策强化 学习模型采用Q学习算法求 最优值函数， Q学习算法设计的值 函数Vπ(st)表达式为： 值函数Vπ(st)与Q函数Qt(st， αt)的关系为： 其中， 在t时刻执行动作at， 从环境中获得奖赏R； 当前环境状态为st， 动作结束后环境的 状态为st+1， 因此动作而获得的回报信号为R(st， at)； 策略π(a|s)是根据环境状态s来决定智 能体下一 步的动作a的函数， Vπ(st)为Qt(st， at)关于动作a的期望； Q学习算法通过对Q值函数的迭代， 按照优化的动作序列在执行时的折扣累计强化信号 来获取最优策略π； 即有： Qt+1(st， at)＝R(st， at)+γmaxQ(st+1， at)+ εE Q函数的初值可以任意选取， 完成每次动作并获得回报后， 更新Q函数， 其中α为学习因 子： Qt(st， at)＝(1‑α )Qt‑1(st， at)+α [R(st， at)+γmaxQt‑1(st+1， at+1)+ εE]。 8.根据权利要求2所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述实体关系 的类别包括干预触发、 行为限制、 警示提醒、 存在影响和互不干涉， 分别对应安全等级为 1～ 5级， 对应的安全性评判值分别为2、 4、 6、 8和10 。 9.根据权利要求1所述基于知识图谱的自动驾驶决策系统， 其特征在于， 所述数据爬取 分模块使用Scrapy分布式爬虫框架获取 数据。 10.基于知识图谱的自动驾驶决策系统的操作方法， 其特 征在于， 包括如下步骤： 步骤1.使用Scrapy分布式爬虫 结构爬取互联网上关于交通 规则、 驾驶事故的数据； 步骤2.通过jieba库将爬取数据进行分词处理， 去除空格、 逗号、 无用符号， 标记小样本 场景实体 类别与实体之间关系； 步骤3.初始化实体识别模型和关系抽取模型参数， 输入实体小样本标注数据集， 训练 实体识别深度学习模型， 实体识别模型通过模型测试后， 将识别的实体输入到关系抽取模 型中， 依据关系小样本标记数据集训练关系抽取模型， 通过测试集测试输出实体之间关系； 步骤4.将识别出来的实体类别和类别之间的关系以三元组的形式存储在Neo4j图库 中； 步骤5.根据收集到的经验数据与驾驶场景复杂度训练并更新决策强化学习模型； 步骤6.判断决策学习模型是否已经学习到可靠的决策， 若已达到可靠决策能力， 输出 高置信度动作， 将低置信度动作输入到知识图谱中存储增加知识量， 若没达到则重复步骤 5。权　利　要　求　书 2/2 页 3 CN 114818707 A 3