(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111328911.3 (22)申请日 2021.11.10 (71)申请人 重庆理工大 学 地址 400054 重庆市巴南区红光大道69号 重庆理工大 学 (72)发明人 何苗　毕健　胡方超　丁军　 王玉金　 (74)专利代理 机构 重庆企进专利代理事务所 (普通合伙) 50251 代理人 周辉 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于机器学习的交 互意图识别方法 (57)摘要 本发明公开了一种基于机器学习的交互意 图识别方法， 通过摄像头采集图像数据， 并提取 图像数据中潜在交互对象 的特征信息， 对特征信 息进行降维处理得到特征集； 将交互意图按照强 度逐级分类， 并按照分类给特征集样本增加标 签； 建立模型训练的数据集； 将数据集分为训练 集和测试集， 利用机器学习方法训练交互意图分 类模型； 训练后， 利用测试集对训练后的交互意 图分类模型进行测试与评估， 完成交互意图分类 模型的训练。 采用交互意图分类模 型对图像数据 中的潜在交互对象进行交互意图识别。 本发明具 有能够利用视觉信息识别交互意图， 提高服务机 器人与人交 互的自然性与智能性 等优点。 权利要求书3页 说明书10页 附图9页 CN 114120399 A 2022.03.01 CN 114120399 A 1.一种基于机器学习的交互意图识别方法， 其特征在于， 先通过摄像头采集图像数据， 再采用基于机器学习的交互意图分类模型对图像数据中的潜在交互对 象进行交互意图识 别； 所述交 互意图分类模型的训练步骤如下： S1、 通过摄像头采集 图像数据， 并提取图像数据中潜在交互对象的视线、 面部朝向、 交 互距离以及面部表情的特 征信息， 对特 征信息进行降维处 理得到特 征集； S2、 将交互意图按照强度逐级分类， 并按照分类给 特征集样本增 加标签； S3、 重复步骤S1和S2， 获取包 含所述特 征集的数据集； S4、 将数据集分为训练集和测试集， 基于机器学习方法， 利用训练集训练交互意图分类 模型； 训练后， 利用测试集对训练后的交互意图分类模型进 行测试， 完成交互意图分类模型 的训练。 2.如权利要求1所述的基于机器学习的交互意图识别方法， 其特征在于， 所述特征集包 含的视觉特征数据{Rg,Rp,D,E}， Rg为视线注意力偏移系数， Rp为面部朝向注意力偏移系数， D为社交距离， E为表情交 互意图量 化参考值。 3.如权利要求2所述的基于机器学习的交互意图识别方法， 其特征在于， 所述视线注意 力偏移系数Rg为交互对象的视线落 点与摄像头竖直平面中心的偏移 距离， 并满足下式： 式中， (pxl,pyl,pzl)、 (pxr,pyr,pzr)别为相机坐标系下潜在交互对象的左 右眼瞳孔坐标， VGL＝[vxl vyl vzl]和VGR＝[vxr vyr vzr]分别为潜在交互对象的左眼视线和右眼视线的方向 向量。 4.如权利要求2所述的基于机器学习的交互意图识别方法， 其特征在于， 所述面部朝向 的注意力偏移系数Rp为交互对象的面部朝向落点与 摄像头竖直平面中心的偏移距离， 并满 足下式： 式中， (fx,fy,fz)为潜在交互对象在相机坐标系下的面部中心坐标， [α, β,γ]为面部朝 向的方位角。 5.如权利要求2所述的基于机器学习的交互意图识别方法， 其特征在于， 所述社交距离 D满足下式： 式中， (dx,dy,dz)相机坐标系下潜在目标对象人脸中心点的坐标。 6.如权利要求2所述的基于机器学习的交互意图识别方法， 其特征在于， 所述面部表情 包括高兴、 愤 怒、 自然、 惊 讶、 伤心、 厌恶和恐惧， 并根据交互意图划分为接近型、 中立型和回 避型， 所述表情交互意图量化参考值E为各面部表情所对应的交互意图的量化值， 并满足下 表：权　利　要　求　书 1/3 页 2 CN 114120399 A 27.如权利要求2所述的基于机器学习的交互意图识别方法， 其特征在于， 所述步骤S4 中， 还包括如下步骤： 对训练后的交互意图分类模型进行SHAP可解释性分析， 分别统计数据集中的视线和面 部朝向的SHAP值分布， 拟合面部朝向的SHAP值的分布曲线和视线的SHAP值的分布曲线， 并 结合专家经验对分布曲线进行调整， 得到面部朝向与视线的交互意图隶属度曲线， 根据隶 属度曲线将面部朝向和视线的特征数据归一化至[0,1]区间， 得到特征数据Ap和Ag； 合并视 线特征与面部朝向特 征， 得到视觉注意力特 征Apg＝Ag+Ap‑AgAp； 将特征集的参数更新为{Ap,Ag,D,E}、 {Apg,D,E}或{Ap,Ag,Apg,D,E}， 用更新后的数据集 对交互意图分类模型进行二次训练和 测试， 完成交 互意图分类模型的优化。 8.如权利要求7所述的基于机器学习的交互意图识别方法， 其特征在于， 根据 人际距离 学划分社交距离D对应的交 互意图隶属度Ad， 并满足下表： 在进行二次训练前， 将特征集的参数更新为{Ap,Ag,Ad,E}、 {Apg,Ad,E}或{Ap,Ag,Apg,Ad, E}。 9.如权利要求1所述的基于机器学习的交互意图识别方法， 其特征在于， 采用训练好的 交互意图分类模型做分类预测时， t时刻交 互意图强度的稳定分类结果Ys满足下式： Ys＝f(Ωt‑n) 其中， Ωt‑n＝{Yt‑1,Yt‑2,...,Yt‑n}为t时刻前n帧图像中的潜在交互对象的交互意图分 类结果， f(Ωt‑n)为Ωt‑n的众数； 以稳定识别结果Ys作为t时刻的交 互意图分类结果输出。 10.如权利要求9所述的机器学习的交互意图识别方法， 其特征在于， 识别时， t时刻的 交互意图识别结果Y为： 式中， i表示帧数， Yt‑i为t时刻之前的第i帧图像中潜在交互对象的交互意图分类结果，权　利　要　求　书 2/3 页 3 CN 114120399 A 3