知识图谱以其强大的语义处理能力和开放组织能力,为互联网时代的知识化组织和智能应用奠定了基础,其应用趋势也从通用领域走向行业领域。许多行业为了应对大数据应用的不同挑战,借助知识图谱,实现不同的业务需求,实现了通用和行业应用“百花齐放”的局面。
本期笔者采访了易建科技智慧城市事业部知识工程团队经理、知识图谱技术研究人员鲍立飞,详细阐述了易建如何深度开发基于本体的行业知识图谱构建技术及应用。
如何构建一个有效的知识图谱?
知识图谱构建主要有自顶向下(Top-Down)和自底向上(Bottom-Up)两种方法。所谓自顶向下的方法是指首先为知识图谱定义数据模式,在定义本体的过程中,首先从最顶层的概念开始,然后逐步进行细化,形成结构良好的分类学层次结构;在定义好数据模式后,再把实体一个个往概念中添加。自底向上的方法则刚好相反,首先从实体开始,对实体进行归纳组织,形成底层的概念,然后逐步往上抽象,形成上层的概念。
两种方法在具体的构建过程中通常都不是从零开始的,前者可以利用一些现有的结构化的知识库,而后者则可以从开放链接数据或在线百科中得到很多实体。在领域本体实际构建过程中,易建则采用了自顶向下和自底向上相结合的方法。
知识图谱的构建过程包括本体建模、知识抽取、知识融合、知识存储、知识推理这几个步骤。
1.本体建模
就鲍立飞而言,构建本体的目的是识别、描述和表示相关领域的知识,提供对该领域知识的共同理解,确定领域内共同认可的对象模型,并从不同层次的形式化模式上给出了这些对象和对象间相互关系的明确定义。本体描述了知识图谱的概念模式,同时知识图谱在本体的基础上进行了丰富和扩充,而知识图谱则是在本体的基础上,增加了更加丰富的关于实体的信息。
在行业知识图谱构建的过程中,需要先构建本体模型,本体模型是为了对整个行业特定的知识图谱所需的数据模型进行定义,因此需要保证可靠性。在本体模型中我们需要构建本体的概念,属性以及概念之间的关系。
在构建行业知识图谱的本体模型时,通常需要借助领域专家知识来引导构建本体模型,才能保证知识图谱的质量,之后的知识计算,知识推理才能更好的发挥作用。
2.知识抽取
知识抽取是从不同来源、不同结构的数据中进行信息提取,形成知识存入知识图谱中。知识抽取处理的对象按照结构化程度可以分为结构化、半结构化和非结构化信息。
结构化文档具有良好的布局结构,可以很容易地对其执行知识抽取。结构化文档主要存储在业务数据库,可以通过ETL从结构化信息中提取知识。
在处理半结构化数据方面,主要的工作是通过编写包装器,从半结构化数据中提取实体属性,适用在百科类站点、垂直网站中进行包装器归纳,从网页表格中提取属性信息。
非结构化文档是指由符合某种语言表达规范的自然语言语句组成的文档,这类文档表达方式灵活,可以用不同的形式和词汇表达相同的意思,因此对这类文档进行知识抽取是非常困难的,往往要借助自然语言处理技术对其进行语法和语义分析。
3.知识抽取
知识图谱最适合处理关联密集型的数据,解决的是实体及实体之间的关系,即具有有向图结构的一个知识库,因此适合以图的数据结构存储,其存储方式主要有RDF 和图数据库两种方式。
在具体的知识图谱工程中,为了满足不同的业务需求,比如统计型、复杂关系型等,往往采用复合的存储模式,如下:
实践经验如下:
文本型数据:使用NoSQL数据库存储。
关系型数据:使用图形数据存储,包括实体、关系、属性。
关联型数据:作为记录型数据存入合适的存储中(尽量不入图存储),通过实体链接与图谱中实体关联。
时序型数据:一般作为事件来补充知识图谱,可存在图数据库或者文档数据库中,如果是海量数据并作为实时分析,采用特定时序数据库存储。
统计型数据:使用SQL数据库存储。
4.知识融合
知识融合指的是将多个数据源抽取的知识进行融合后集成到知识图谱中。在进行知识融合时,需要解决多种类型的数据冲突问题,包括一个短语对应多个实体、实体属性名不一致、实体属性缺失、实体属性值不一致、实体属性值一对多映射等情况。知识融合阶段主要对数据进行本体对齐和实体匹配。
本体对齐更强调概念层的融合,主要工作有概念的合并,概念上下位关系合并,概念的属性定义合并。而实体匹配更强调数据层的融合,主要工作又有实体链接,数据融合,冲突检测与解决。
由于我们在构建过程中采用的自顶向下和自底向上结合的方式,因此基本都经过人工的校验,保证了概念层的可靠性;因此,知识融合的关键任务在数据层的融合。
数据层融合即实体匹配也叫实体对齐,其目的在于发现具有不同标识却代表真实世界中同一对象的那些实体,并将这些实体归并为一个具有全局唯一标识的实体对象,然后添加到知识图谱中。
5.知识抽取
知识推理是通过各种方式获取新的知识或结论,这些知识和结论满足语义。主要分为本体推理和规则推理。
基于本体的推理,本体推理主要是通过预定义的本体公理上进行推理,例如本体中定义的subclass,subproperty,domain,range,funtional等一些公理进行推理。但是无法自定义一些推理规则。
基于规则的推理,规则推理可以根据特定的场景定制规则,以实现自定义的推理过程,推理属性规则比如知道某人出生年月,可以计算出其年龄。推理关系规则,定义父亲的父亲是爷爷,已知A是B的父亲,B是C的父亲,则可以推出A是C的爷爷。
将数据转化成更有价值的资源
发展的需要和现实的痛点,往往会催生一项技术的发展。综观当前国内旅游业发展,‘量体裁衣’式的旅游定制受到了越来越多人的喜爱,旅游消费移动化、便捷化正成为新动向。更加智慧的旅游让传统旅游企业趋之若鹜,但由于技术的挑战,又使得这些企业在转型过程中一度犯难。知识图谱的关联价值此时正好得到了用武之地。
洞察这一趋势后,鲍立飞团队着手开始知识图谱在旅游行业的应用探索。知识图谱和旅游行业“结亲”的一个重要因素,还来源于易建所处的海南这个极具区位特色、资源禀赋的旅游胜地。近两年,海南通过全域旅游统筹推进旅游供给侧结构性改革,基本形成了全域旅游发展新格局。旅游信息化的智能处理,使得海南旅游业的内生动力得到了有效激发。知识图谱能够高度还原真实世界,做到“万物互联”,并对结构化和非结构化的数据进行智能地治理和整合,能够让海量的旅游数据为其所用,这对全域旅游的发展来说是个利好消息。
“利用知识图谱最重要的是让机器读懂世界,理解人的语言。”鲍立飞说,相较于传统的关系型数据库,易建构建的智慧旅游智能问答系统更侧重于大数据分析、挖掘技术与AI技术的强强联手,能够深度理解人类的语言和支持推理,通过实时呈现出更多有价值的信息,让旅游体验更加舒适化、便捷化。这一切都离开不开其强大的后台运转:智慧旅游知识图谱体系将游、购、娱、吃、住、行等六个要素的海量数据建立起关系网,并将多数据源进行打通关联,从而整合成为机器可以理解的结构化数据,再通过智慧旅游智能问答系统的旅游聊天机器人服务于游客的全旅程。只要建立的旅游知识图谱足够大,机器人就可以回答各种各类的旅游问题;同时在与游客聊天和交流过程中,机器人也可以不断的学习新知识,及时补充新信息。既能为管理部门提供了先进的管理手段,又为游客提供了游前、游中、游后一体化的智能体验服务,这个会思考的“旅游达人”出现后,受到了旅游业内人士的高度关注。
易建智慧旅游智能问答系统
由于知识图谱的应用,也解决了反欺诈中的数据整合并构建反欺诈引擎,从而有效地识别出欺诈案件(如身份造假,团体欺诈,代办包装等)等问题,这使得它在风险防控工作中也有很好的“口碑”。鲍立飞指出,通过知识图谱复杂网络计算,可以找出网络中相关子图,检测出异常案件,帮助保险公司对可疑案件进行有效的问题排查及跟踪,规避理赔资金风险,提升打假效率。
易建研发的车险业务知识图谱
知识图谱技术的发展,决定了它极强的互联网数据属性和搜索的目的性。鲍立飞表示,这就要求行业领域在应用知识图谱时,要从行业自身的数据特点和业务目标出发去研究和落地。而这正好是易建未来所关注的重点,利用所拥有的数据,转化成更有价值的资源,为行业的发展提供更便利的管理手段。