excel学习库

excel表格_excel函数公式大全_execl从入门到精通

中科大脑知识图谱平台建设及业务实践

本文首发于Nebula Graph Community 公众号

“为了支持城市复杂场景下各类需求,中科大脑知识图谱团队设计开发了一套包含本体可视化设计、数据映射、数据抽取、数据写入、图数据探索的一体化平台,而本文则详细介绍了他们的业务背景、技术选型、平台建设等内容。”

01 背景介绍

中科大脑作为一家城市级的数字资产运营商,一方面要对各种类型的数据进行高效存储,另一方面面临如何将各类数据充分利用的问题,传统 NoSQL、SQL 不能完全满足数据的存储和利用,以图数据库为基础的知识图谱一定程度上可以解决这些问题,知识图谱组件(KBU)是脑库城市大脑产品的核心部件。

中科大脑内部对知识图谱的需求,总体来说有以下 3 方面:

  1. 政务知识图谱,将政策法规、证件材料、事项流程、组织架构等信息纳入知识图谱。目前建设了面向公安户政、电子政务领域事项办理知识图谱,针对不同的职能部门建设有不同的知识图谱,提升了服务效率和质量。

  2. 资产设备管理图谱,对城市中大量公共设施、不动产、物联网设备等建立知识图谱,形成联动管理与运维。

  3. 事理知识图谱,对城市重大事件、突发事件、集中投诉事件等建立事理图谱,包括事件的时间、地点、主体及热度等,发现事件间的关联关系和演化规律,提供决策支持。 实践中,不同板块的知识图谱间并非完全孤立,而是根据应用需求进行融合,充分发挥图谱的关系链接特性,将城市本体要素打通,实现联动,解决数据的关联存储和挖掘。

02 图数据库选型

在数据高度结构化、一致性强场景下,一般选择使用传统的关系型数据库;在数据具有庞大潜在关联场景下,图数据存储及基于此的知识图谱技术将会是合理的选择。 调研中发现,与关系数据库或其他 NoSQL 数据库相比,图数据库的数据模型也更加简单,更具表现力。图数据库在社交网络、金融风控、个性化推荐、网络安全等领域应用广泛。 我们在图数据库选型方面主要考虑点: 1)功能齐全、性能强大;2)项目开源,支持灵活的二次开发;3)安全可靠,国产优先;

美团腾讯

03 知识图谱构建平台

知识图谱构建包括业务规则制定、本体构建、知识抽取、知识融合、数据存储等流程,往往需要业务专家、工程、算法、项目管理等人员参与配合。有机整合以上环节和分工,将大大减少知识图谱落地速度,目前尚未有开源产品满足此需求。为了支持城市复杂场景下各类需求,我们设计开发了一套包含本体可视化设计、数据映射、数据抽取(结构化、非结构化)、数据写入、图数据探索的一体化平台,平台结构如图。

  • 项目管理

知识图谱平台将不同领域知识图谱作为项目单元,每个项目独立进行知识全流程构建与管理。项目中包括本体设计、数据映射、数据抽取,按照流程一步步进行(step-by-step),不同的阶段做到“术”、“业”专攻。平台实现了企业内部知识图谱构建的标准化和部门协作,减少了不同阶段人员间的沟通成本、数据安全性问题,大大提高了效率。

  • 本体设计

OpenKG

  • 数据抽取

本体构建完成,对结构化数据,支持对 EXCEL、CSV 等关系型数据与本体建立映射,完成图数据的写入。对非结构化数据的图谱抽取,平台内置了模型服务进行三元组抽取。内置模型分为两种,第一种是基于开源数据集,如百度 DuIE 2.0,满足通用数据抽取,另一种从自身业务出发,设计模型。我们设计了针对市民热线的事件及关键信息抽取模型,从图谱角度挖掘市民热线不同信件间的关联关系,对事件抽取设计了联合抽取模型,联合抽取模型较管线式模型(pipeline)在时效和准确率上有较大提升。

  • 图探索

结构化数据导入和非结构数据化抽取结果将被写入到 Nebula Graph 数据库,图探索可以方便地实现对写入知识的查询显示,同时可以通过知识搜索框直接对点和边信息进行搜索。构建者更加简单地实现了知识检索、探索和聚合。产品功能要点:

  1. MATCH (n) RETURN n LIMIT 25)

  2. 知识搜索,支持点和边进行模糊匹配,更好地实现知识发现和推荐;

  3. 知识计算,内置轻量级图算法,可以对节点出入度、中心度、族群、相似节点类等进行计算。

为了满足自身产品应用,我们基于 Nebula Graph、Elasticsearch、NetworkX 等底层接口,开发了一系列 API 应用接口,未来我们 API 接口实现也将积极参与到开源中。

04 业务落地

  • 智能问答

围绕公安户政知识建立了领域知识图谱,设计知识图谱问答(KBQA)系统 ,支持多实体多跳(Multi-hop)匹配和推理。基于脑库知识图谱组件和脑库时空构建组件将空间和非空间数据结合,实现空间推理,市民可能会咨询,“可以办理出国签证的机构都在哪儿?”通过知识图谱语义问答和 GIS 的结合,将位置和相应的属性精准返回,实现知识和地图的可访问及互操作,为城市服务提供便捷。

  • 知识指导与决策

CCKS2021收录

  • 知识流程推荐

在城市大脑个性化推荐中,以‘我’为中心整合服务资源并进行个性化定制,通过知识图谱分析用户行为习惯和环境信息,使用图嵌入、图路径分析、社区发现算法等方法,智能推送用户关注度高、关联性强的信息,主动提供服务。 对于市民,在案件办理时,自动收到个性化推荐,如相似案例办理经验、可选路径、办件足迹及相关资讯等;对于城市治理者,在案件派发和相似案件推荐中,采用常识图谱和专业领域知识图谱相结合对历史信息和案件行为分析。利用知识融合、子图空间、知识推理等方法,对于案件的派发和推荐提供更精确的分析和分类,并推理出相应的派发法方案和相似关系,提高了城市大脑的智慧服务水平和效率。

05 合作 & 未来

NGCP

平台方面在构建阶段,将内置图嵌入、图学习、GNN 等图算法、优化大规模图算法性能,实现构建与应用一体化平台,为数字资产的深层次挖掘和智能化应用赋能。

以上为中科大脑知识图谱开发小组带来的知识图谱平台建设和业务实践方面的分享。

填写下你的 Nebula 名片

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

«    2024年12月    »
1
2345678
9101112131415
16171819202122
23242526272829
3031
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
    文章归档
      友情链接