你好,游客 登录
背景:
阅读新闻

数海遨游,怎能少了“导航”—智能存储检索中心

[日期:2018-01-03] 来源:搜狐  作者: [字体: ]

  大家好,欢迎来到“大数据海洋王国”,请系好安全带,开启“导航”—InCenter-SR智能存储检索中心,我们马上出发。

  首先跟您介绍一下今天的路线:我们将围绕智能存储检索中心InCenter-SR的两大组成部分,分别参观数据仓储的建设以及数据检索与管理。

  现在我们来到了数据仓库,让我们一起来了解数据仓库的建设。

  图:数据仓库逻辑架构

  InCenter-SR的数据仓库从现有的业务系统中,抽取全量数据及持续的增量数据,通过Hadoop大数据仓库存储,建立全量原始数据仓库。

  通过对原始数据标准化,存入标准化数据库,再通过建模分析建立应用主题库,随后将主题库数据同步至应用访问库,为前端应用提供数据访问。

  请大家注意了,InCenter-SR可实现全量数据的备份,并可根据需要回溯业务数据,这也是此行的要点哦。

  参观完数据仓库的建设,接下来让我们通过InCenter-SR在大数据海洋王国畅游吧!

  参观地图:智能存储检索中心InCenter-SR架构

  InCenter-SR由五大块核心组件组成:原始库、Impala标准数据检索框架、ElasticSearch分布式全文检索框架、主题库、可视化管理系统。

  接下来我们将进行面向结构化数据的存储检索:

  InCenter-SR面对结构化的数据存储检索,将使用Impala标准数据检索框架对hive文件进行高速检索。在Impala架构中,每个Impala节点都可以接收来自客户端的查询请求,然后负责解析查询,并与Hive元数据进行共享,确保了hive文件完整可用。

  看完面向结构化数据的存储检索,我们再进行面向非结构化数据的存储检索:

  InCenter-SR面对非结构化数据的存储检索,首要目标即需要对非结构化数据进行结构化的操作,其中使用得最多的就是针对非结构化数据建立相对应的索引进行检索。

  图:面向非结构化数据的存储检索过程示意

 

  最后再跟大家总结一下,InCenter-SR提供对数据中心的全量数据、标准化数据、以及模型数据的高效检索功能,平台对单条记录查询响应小于3ms,在10亿以上的日志库中检索响应时间可实现小于5ms。

收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
热门评论