知识图谱作为推动互联网和人工智能发展的核心驱动力,已经成为当前人工智能研究的前沿。在刚刚结束的CCKS 2019“知识图谱竞猜”大赛中,百度智珠团队以 F1 Score 0.73545的好成绩夺冠,再次确立了百度在知识图谱领域的领先地位。
CCKS全国知识图谱与语义计算会议是由中国信息学会语言与知识计算专业委员会主办的高层次学术活动,主要关注知识图谱与语义计算领域。目前,CCKS在中国知识图谱和语义计算领域每年参与人数最多。参与单位为顶级学术机构(如清华、北大、中科院等。)和龙头企业(包括百度、阿里、华为、小米等。)在国内相关领域。
在知识图谱问答项目中,专家如云,包括华为、网易、大连理工大学、苏州大学等世界知名企业和高校。凭借在知识图谱领域的多年积累,百度支竹团队深入分析图谱问答系统的难点,坚持技术创新,最终以基于答案语义排序的方案获得第一名。
图1百度支竹团队获得CCKS 2019知识图谱问答第一名;A.
百度支竹团队致力于用百度多年积累的知识图谱构建和应用能力赋能企业,协助企业构建面向行业的知识图谱和知识应用。百度支竹将多模态知识理解、知识图谱构建、多模态智能搜索等能力整合到统一的企业知识管理智能平台,为企业组织、应用和管理自有知识和第三方知识,形成统一、智能、易用的知识管理系统提供了强有力的技术支持。
这个知识图谱竞猜测评任务的全称是基于中文知识图谱的自然语言问答,CKBQA(中文知识库问答)。即输入一个中文问题,问答系统从给定的知识库中选取一些实体或属性值作为问题的答案。
知识图谱问答是自然语言处理领域最热门的研究方向之一。它是互联网知识获取的新入口,是搜索引擎和对话系统中的关键技术,吸引了工业界和学术界的大量关注。
本次测评任务在去年开放领域问答的基础上,增加了适量的金融专业问题,要求问答系统不仅要有处理开放领域浅层问题的能力,还要有处理领域知识深层问题的能力。
这一评估有两个主要挑战:
根据首先,本次评测是在开放领域的问答,问题覆盖面广,综合难度更高。's问题的分类,习题集涉及各个领域,包括金融、文学、电影、游戏、生活甚至常识。从知识库的量级来看,被评估的知识库包含数千万个实体、数十亿条边、数百万个实体类型,这大大增加了知识语义理解的难度。从难度来看,本次测评既有简单题,也有复杂题,需要多个三元组回答的问题占比超过50%。
与其次,本次评测增加了金融领域的问题,因此对深层的领域知识理解提了更高要求。,开放领域图谱相比,专业领域知识的广度更窄,实体粒度更细;同时推理环节更长,应用复杂度更大。
为解决上述挑战,百度支竹团队提出了核心实体链接和子图编码的端到端语义匹配算法体系。第一步,基于子串匹配和命名实体识别等方法识别问题中的指称;第二步,对指称召回的实体进行打分,选择出问题的核心实体,即实体链接;第三步,定义多种子图召回模板,召回核心实体大量的子图;第四步,对每个子图抽取字面匹配度、浅层语义匹配、深度语义匹配度等特征,排序得到答案。
图2系统框架流程:参照识别实体链接模板匹配路径排序
在实现这一点的过程中,百度支竹团队引入了两种创新方法,即核心实体链接的端到端语义匹配算法和子图编码。
图3模块详情:实体链接和路径排序
实体链接组件将问题中提到的实体链接到知识库,并标识问题的核心实体。为了提高链接的准确性,链接组件被集成。
考虑了实体的子图与问题的匹配度、实体的流行度、指称正确度等多种特征,最后利用 LambdaRank 算法对实体进行排序,得到得分最高的实体。子图排序组件目标是从多种角度计算问题与各个子图的匹配度,最后综合多个匹配度的得分,得到出得分最高的答案子图。
针对千万级的图谱,百度智珠团队采用了自主研发的策略来进行子图生成时的剪枝,综合考虑了召回率、精确率和时间代价等因素,从而提高子图排序的效率和效果。
针对开放领域的子图匹配,采用字面匹配函数计算符号化的语义相似,应用 word2vec 框架计算浅层的语义匹配,最后应用 BERT 算法做深度语义对齐。
除此之外,方案还针对具体的特征类型的问题进行一系列的意图判断,进一步提升模型在真实的问答场景中的效果和精度,更好地控制返回的答案类型,更符合真实的问答产品的需要。
中文知识图问答任务,是衡量机器理解人类语言综合水平和知识的重要方式。CKBQA 知识图谱评测取得的成绩,将有力推动问答技术和产品的发展。
同时,图谱问答技术将落地到下一代搜索引擎和对话系统等行业中,为数亿的用户提供更精准的问答服务。
本次大会为知识图谱在专业领域的技术突破带来更开放的思维空间和更广阔的研究视野。未来,百度智珠团队也将继续秉持开放学习、协同创新的理念,积极把握相关学术、产业交流机会,与 AI 各界展开更广泛、更深入的探讨与合作,加快 AI 技术落地,努力为行业带来更高效的智能化解决方案。
以上就是帮企客小编为大家带来的全部内容,希望可以帮助到大家。免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com