大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（正在更新…）

章节内容

上节我们完成了如下的内容：

  • Apache Druid 基础架构 详解
  • Apache Druid 架构演进 详解

在这里插入图片描述

数据存储

  • Druid中的数据存储在被称为DataSource中，DataSource类似RDBMS中的Tablet
  • 每个DataSource按照时间划分，每个时间范围成为一个Chunk（比如按天分区，则一个Chunk为一天）
  • 在Chunk中数据被分为一个或多个Segment，Segment是数据实际存储结构，Datasource、Chunk只是一个逻辑概念
  • Segment是按照时间组织称Chunk，所以在按照时间查询数据时，效率非常高。
  • 每个Segment都是一个单独的文件，通过包含几百万行的数据

在这里插入图片描述

数据分区

  • Druid处理的是事件数据，每条数据都会带有一个时间戳，可以使用时间进行分区
  • 上图指定了分区粒度为天，那么每天的数据都会被单独存储和查询

Segment内部存储

  • Druid采用列式存储，每列数据都是在独立的结构中存储
  • Segment中的数据类型主要分为三种：
  • 类型1 时间戳：每一行数据，都必须有一个TimeStamp，Druid一定会基于事件戳来分片
  • 类型2 维度列：用来过滤Fliter或者组合GroupBY的列，通过是String、Float、Double、Int类型
  • 类型3 指标列：用来进行聚合计算的列，指定的聚合函数 sum、average等

在这里插入图片描述
MiddleManger节点接受到Ingestion的任务之后，开始创建Segment：

  • 转换成列式存储格式
  • 用bitmap来建立索引（对所有的dimension列建立索引）
  • 使用各种压缩算法
  • 算法1：所有的使用 LZ4 压缩
  • 算法2：所有的字符串采用字典编码、标识以达到最小化存储
  • 算法3：对位图索引使用位图压缩

Segment创建完成之后，Segment文件就是不可更改的，被写入到深度存储（目的是为了防止MiddleManager节点宕机后，Segment丢失）。然后Segment加载到Historicaljiedian，Historical节点可以直接加载到内存中。
同时，Metadata store 也会记录下这个新创建的Segment的信息，如结构、尺寸、深度存储的位置等等
Coordinator节点需要这些元数据来协调数据的查找。

索引服务

索引服务是数据导入并创建Segment数据文件的服务
索引服务是一个高可用的分布式服务，采用主从结构作为架构模式，索引服务由三大组件构成：

  • overlord 作为主节点
  • MiddleManage作为从节点
  • peon用于运行一个Task

索引服务架构图如下图所示：
在这里插入图片描述

服务构成

Overlord组件

负责创建Task、分发Task到MiddleManger上运行，为Task创建锁以及跟踪Task运行状态并反馈给用户

MiddleManager组件

作为从节点，负责接收主节点分配的任务，然后为每个Task启动一个独立的JVM进程来完成具体的任务

Peon（劳工）组件

由 MiddleManager 启动的一个进程用于一个Task任务的运行

对比YARN

  • Overlord 类似 ResourceManager 负责集群资源管理和任务分配
  • MiddleManager 类似 NodeManager 负责接收任务和管理本节点的资源
  • Peon 类似 Container 执行节点上具体的任务

Task类型

  • index hadoop task：Hadoop索引任务，利用Hadoop集群执行MapReduce任务以完成Segment数据文件的创建，适合体量较大的Segments数据文件的创建任务
  • index kafka task：用于Kafka数据的实时摄入，通过Kafka索引任务可以在Overlord上配置一个KafkaSupervisor，通过管理Kafka索引任务的创建和生命周期来完成Kafka数据的摄取
  • merge task：合并索引任务，将多个Segment数据文件按照指定的聚合方法合并为一个segments数据文件
  • kill task：销毁索引任务，将执行时间范围内的数据从Druid集群的深度存储中删除

索引及压缩机制

Druid的查询时延低性能好的主要原因是采用了五个技术点：

  • 数据预聚合
  • 列式存储、数据压缩
  • Bitmap索引
  • mmap（内存文件映射方式）
  • 查询结果的中间缓存

数据预聚合

  • Druid 通过一恶搞RollUp的处理，将原始数据在注入的时候就进行了汇总处理
  • RollUp可以压缩我们需要保存的数据量
  • Druid会把选定的相同维度的数据进行聚合操作，可以存储的大小
  • Druid可以通过queryGranularity来控制注入数据的粒度，最小的queryGranularity是millisecond（毫秒级别）

Roll-Up

聚合前：
在这里插入图片描述
聚合后：
在这里插入图片描述

位图索引

Druid在摄入的数据示例：
在这里插入图片描述

  • 第一列为时间，Appkey和Area都是维度列，Value为指标列
  • Druid会在导入阶段自动对数据进行RollUp，将维度相同组合的数据进行聚合处理
  • 数据聚合的粒度根据业务需要确定

按天聚合后的数据如下：
在这里插入图片描述
Druid通过建立位图索引，实现快速数据查找。
BitMap索引主要为了加速查询时有条件过滤的场景，Druid生成索引文件的时候，对每个列的每个取值生成对应的BitMap集合：
在这里插入图片描述

索引位图可以看作是：HashMap<String, BitMap>

  • Key就是维度的值
  • Value就是该表中对应的行是否有该维度的值

在这里插入图片描述

SQL查询

SELECT sum(value) FROM tab1
WHERE time='2020-01-01'
AND appkey in ('appkey1', 'appkey2')
AND area='北京'

执行过程分析：

  • 根据时间段定位到Segment
  • appkey in (‘appkey1’, ‘appkey2’) and area=‘北京’ 查到各自的bitmap
  • （appkey1 or appkey2）and 北京
  • (110000 or 001100) and 101010 = 111100 and 101010 = 101000
  • 符合条件的列为：第一行 & 第三行，这几行 sum(value)的和为40

GroupBy查询

SELECT area, sum(value)
FROM tab1
WHERE time='2020-01-01'
AND appkey in ('appkey1', 'appkey2')
GROUP BY area

该查询与上面的查询不同之处在与将符合条件的列：

  • appkey1 or appkey2
  • 110000 or 001100 = 111100
  • 将第一行到第四行取出来
  • 在内存中做分组聚合，结果为：北京40、深圳60

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/885463.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Java-IO模型

Java-IO模型

所谓I/O就是计算机内存与外部设备之间拷贝数据的过程。由于CPU访问内存的速度远远高于外部设备&#xff0c;因此CPU是先把外部设备的数据读到内存里&#xff0c;然后再进行处理。对于一个网络I/O通信过程&#xff0c;比如网络数据读取&#xff0c;会涉及两个对象&#xff0c;一…
阅读更多...
Ubuntu 开机自启动 .py / .sh 脚本，可通过脚本启动 roslaunch/roscore等

Ubuntu 开机自启动 .py / .sh 脚本，可通过脚本启动 roslaunch/roscore等

前言 项目中要求上电自启动定位程序&#xff0c;所以摸索了一种 Ubuntu 系统下开机自启动的方法&#xff0c;开机自启动 .sh 脚本&#xff0c;加载 ROS 环境的同时启动 .py 脚本。在 . py 脚本中启动一系列 ROS 节点。 一、 .sh 脚本的编写 #!/bin/bash # gnome-terminal -- …
阅读更多...
javaWeb，Maven

javaWeb，Maven

前端打包的程序放在nginx中 查看哪个程序占用了80端口号 Maven&#xff1a;
阅读更多...
rk3399开发环境的介绍

rk3399开发环境的介绍

零. 前言 由于Bluez的介绍文档有限&#xff0c;以及对Linux 系统/驱动概念、D-Bus 通信和蓝牙协议都有要求&#xff0c;加上网络上其实没有一个完整的介绍Bluez系列的文档&#xff0c;所以不管是蓝牙初学者还是蓝牙从业人员&#xff0c;都有不小的难度&#xff0c;学习曲线也相…
阅读更多...
生产绩效考核管理的六大指标

生产绩效考核管理的六大指标

生产绩效考核管理的六大指标 绩效考核是指生产部所有人员通过不断丰富自己的知识、提高自己的技能、改善自己的工作态度&#xff0c;努力创造良好的工作环境及工作机会&#xff0c;不断提高生产效率、提高产品质量、提高员工士气、降低成本以及保证交期和安全生产的结果和行为…
阅读更多...
极狐GitLab 17.4 升级指南

极狐GitLab 17.4 升级指南

GitLab 是一个全球知名的一体化 DevOps 平台&#xff0c;很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab https://dl.gitlab.cn/6y2wxugm 是 GitLab 在中国的发行版&#xff0c;专门为中国程序员服务。可以一键式部署极狐GitLab。 本文分享极狐GitLab 17.4 升级…
阅读更多...
9.24作业

9.24作业

将昨天的My_string类中的所有能重载的运算符全部进行重载 、[] 、>、<、、>、<、! 、&#xff08;可以加等一个字符串&#xff0c;也可以加等一个字符&#xff09;、输入输出(<< 、 >>) 代码如下 MyString.h #ifndef MYSTRING_H #define MYSTRING_…
阅读更多...
检查一个CentOS服务器的配置的常用命令

检查一个CentOS服务器的配置的常用命令

在CentOS系统中&#xff0c;查看服务器配置的常用命令非常丰富&#xff0c;这些命令可以帮助用户快速了解服务器的硬件信息、系统状态以及网络配置等。以下是一些常用的命令及其简要说明&#xff1a; 1. 查看CPU信息 (1) cat /proc/cpuinfo&#xff1a;显示CPU的详细信息&…
阅读更多...
react+antdMobie实现消息通知页面样式

react+antdMobie实现消息通知页面样式

一、实现效果 二、代码 import React, { useEffect, useState } from react; import style from ./style/index.less; import { CapsuleTabs, Ellipsis, Empty, SearchBar, Tag } from antd-mobile; //消息通知页面 export default function Notification(props) {const [opti…
阅读更多...
国家推动工业制造业数字化转型的政策与措施综述

国家推动工业制造业数字化转型的政策与措施综述

在全球化与信息化浪潮的推动下&#xff0c;工业制造业正经历着前所未有的数字化转型。这一变革不仅深刻重塑了生产方式与商业模式&#xff0c;更成为提升国家竞争力、促进经济高质量发展的关键驱动力。随着科技的飞速发展&#xff0c;数字化转型已成为工业制造业转型升级的必然…
阅读更多...
基于微信小程序的健康管理系统(源码+定制+文档）

基于微信小程序的健康管理系统(源码+定制+文档）

博主介绍&#xff1a; ✌我是阿龙&#xff0c;一名专注于Java技术领域的程序员&#xff0c;全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师&#xff0c;我在计算机毕业设计开发方面积累了丰富的经验。同时&#xff0c;我也是掘金、华为云、阿里云、InfoQ等平台…
阅读更多...
叉车防撞系统方案，引领安全作业新时代

叉车防撞系统方案，引领安全作业新时代

在现代工业的舞台上&#xff0c;叉车如同忙碌的“搬运工”&#xff0c;在仓储和制造环境中发挥着不可或缺的作用。然而&#xff0c;随着叉车使用频率的不断攀升&#xff0c;安全事故也如影随形&#xff0c;给企业带来经济损失的同时&#xff0c;更严重威胁着操作人员的生命安全…
阅读更多...
拓扑结构的理解

拓扑结构的理解

拓扑结构是数学中的一个重要概念&#xff0c;主要研究空间的性质及其在连续变换下的保持不变的特征。它是拓扑学的基础内容之一&#xff0c;广泛应用于多个领域&#xff0c;包括数学、物理、计算机科学等。 基本概念 1. 拓扑空间&#xff1a; 一个集合 X 和一个拓扑T 的组合…
阅读更多...
毕业设计选题：基于ssm+vue+uniapp的购物系统小程序

毕业设计选题：基于ssm+vue+uniapp的购物系统小程序

开发语言&#xff1a;Java框架&#xff1a;ssmuniappJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;M…
阅读更多...
基于Python可视化的学习系统的设计与实现（源码+文档+调试+答疑）

基于Python可视化的学习系统的设计与实现（源码+文档+调试+答疑）

文章目录 一、项目介绍二、视频展示三、开发环境四、系统展示五、代码展示六、项目文档展示七、项目总结 大家可以帮忙点赞、收藏、关注、评论啦 &#x1f447;&#x1f3fb; 一、项目介绍 随着计算机技术发展&#xff0c;计算机系统的应用已延伸到社会的各个领域&#xff0c…
阅读更多...
真正的Open AI ——LLaMA颠覆开源大模型

真正的Open AI ——LLaMA颠覆开源大模型

1. LLaMA 简介 LLaMA&#xff08;Large Language Model Meta AI&#xff09;是由Meta&#xff08;原Facebook&#xff09;推出的一个大型语言模型系列&#xff0c;旨在通过更小的模型规模和更少的计算资源&#xff0c;实现与其他主流语言模型&#xff08;如GPT&#xff09;相媲…
阅读更多...
Linux-TCP重传

Linux-TCP重传

问题描述&#xff1a; 应用系统进行切换&#xff0c;包含业务流量切换&#xff08;即TongWeb主备切换&#xff09;和MYSQL数据库主备切换。首先进行流量切换&#xff0c;然后进行数据库主备切换。切换后发现备机TongWeb上有两批次慢请求&#xff0c;第一批慢请求响应时间在133…
阅读更多...
完成UI界面的绘制

完成UI界面的绘制

绘制UI 接上文&#xff0c;在Order90Canvas下创建Image子物体&#xff0c;图片资源ui_fish_lv1&#xff0c;设置锚点&#xff08;CountdownPanelImg同理&#xff09;&#xff0c;命名为LvPanelImg,创建Text子物体&#xff0c;边框宽高各50&#xff0c; &#xff0c;重名为LvT…
阅读更多...
vue结合element-ui实现列表拖拽变化位置，点击拖动图标拖动整个列表元素，使用tsx格式编写

vue结合element-ui实现列表拖拽变化位置，点击拖动图标拖动整个列表元素，使用tsx格式编写

先来看下需要实现的效果 当鼠标放在左侧图标上时&#xff0c;可以拖动整个列表元素&#xff0c;调整顺序 思路介绍 使用draggable可以设置元素可拖动&#xff0c;然后分别设置三个事件处理函数&#xff0c;监听onDragstart、onDragover、onDragend三个事件 注意&#xff1a…
阅读更多...
线性模型到神经网络

线性模型到神经网络

&#x1f680; 在初始神经网络那一节&#xff08;链接如下&#xff1a;初始神经网络&#xff09;的最后&#xff0c;我们通过加大考虑的天数使得我们最后得到的模型Loss最终停留在了0.32k&#xff0c;当我们在想让模型更加准确的时候&#xff0c;是做不到的&#xff0c;因为我们…
阅读更多...
最新文章

Copyright @ 2022~2023