深度学习中的知识表示与应用综述

摘要：当前深度学习研究中存在的难点在于过度依赖大规模标注数据并且难以利用先验知识，而知识图谱作为强大的知识表达方式，为深度学习与知识的融合提供了可能。本文从基本概念与研究现状出发，调研了近年来知识图谱对于提升不同深度学习结构的贡献。首先本文调研了知识图谱在深度学习中的表达与应用分类，接下来详细总结了知识图谱作为深度学习的训练语料与模型监督的方法，进一步列举了运用知识图谱提升深度学习可解释性的研究进展，最后对面临的重大挑战和关键问题进行了总结。

关键词：知识图谱;深度学习;模型可解释性

中圖分类号：TP183      文献标识码：A      文章编号：1672-9129（2019）09-0001-04

Knowledge Representations and Applications in Deep Learning

Xiong Xiangquan¹， Li Yifan¹， Deng Wei^1，2*， Zhang Qinghua^2，3

（1. School of Statistics， Southwestern University of Finance and Economics， Sichuan Chengdu 611130）

（2. Chongqing Key Laboratory of Computational Intelligence， Chongqing University of Posts and Telecommunications， Chongqing 400065）

（3.School of Computer Science and Technology， Chongqing University of Posts and Telecommunications， Chongqing 400065）

Abstract： Now the difficulty of deep learning research lies in over-reliance on large-scale labeled data and difficulty in using prior knowledge. Knowledge graph as a powerful way of knowledge expression， provides the possibility for the integration of deep learning and knowledge. Based on the basic concept and recent research status， the survey of knowledge graph contributing to different deep learning structures is made in this paper. Firstly the representations and applications of knowledge graph in deep learning are classified. Secondly the methods of knowledge graph as training corpus and supervised models in deep learning are summarized. Thirdly the research progresses of using knowledge graph to improve the interpretation of deep learning are listed. Finally important research challenges and key issues are highlighted.

Key words： Knowledge Graph; Deep Learning; Model Interpretability

引言

当前社会进入人工智能时代，研究人员除了不断探索基于数据驱动的机器学习算法之外，还在积极探索基于知识驱动的各种方法，其中知识图谱技术囊括大量行业先验知识得到高度重视。

知识图谱最早是由谷歌公司于2012年提出 ^[1]，旨在作为搜索引擎功能的知识库，提升搜索引擎性能。该技术用节点表示实体或概念，边则由属性或关系构成，旨在描述真实世界中存在的各种实体、概念及其关系，将大量知识构成一张巨大的语义网络图。近些年相关研究和应用层出不穷，包括电子商务、机器翻译、医疗健康、教育、旅游、聊天机器人、金融风控和推荐系统等，在日常生活中起到越来越大的作用。

深度学习作为当前最前沿的人工智能技术，较之于传统机器学习在特征学习和各类AI应用中都取得更好的效果。比如在自然语言处理（NLP）中，深度学习能深层次挖掘文本中的词语特征与含义，使得文本的语义理解和分类效果更好。但是由于深度学习模型的不可解释性，在当前研究和应用中存在的挑战。将知识表示应用到深度学习中，理论上能帮助深度学习更好的应用与表达，从而使模型性能提高。

本文主要研究将知识图谱表示成深度学习结构可以接纳的不同表示方式，讨论近两年图谱在不同深度结构上的表达和应用，以及深度学习是如何利用先验知识和知识图谱从而提升模型效果的。

1  知识图谱的表示学习