Doris的单机部署与安装

这篇具有很好参考价值的文章主要介绍了Doris的单机部署与安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.认识Doris

Doris最初是由百度大数据研发部研发,之前在百度使用时叫做Palo,在贡献给Apache社区后更名为Doris。

Doris是一个现代化的MPP(大规模并行处理)架构的分析型数据库。拥有亚秒级的查询响应,能够有效的支持实时数据分析。且易于运维,能够支撑10PB以上的超大的数据集。(MPP架构的数据库是将任务并行的分散到多个的节点上,进行协同计算,在每个节点将各自的计算任务处理完成之后,再将计算的结果进行汇总,输出最终的结果)

Doris整体架构如下所示,Doris 架构非常简单,只有两类进程

  • Frontend(FE),主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

  • Backend(BE),主要负责数据存储、查询计划的执行。

2.安装部署

2.1 前期准备 环境包括mysql、jdk以及安装包

安装包直接去官网下载 下载 - Apache Doris 这3个都要下载 

Doris的单机部署与安装

2.2 解压配置

下载之后上传指定目录 

Doris的单机部署与安装

开始解压 这两个命令效果是一样的,区别在于 -xvf 解压的时候会输出压缩包里面的文件名 

# 1.解压文件
tar -xf ~/app/software/apache-doris-be-1.2.3-bin-x86_64.tar.xz
tar -xvf ~/app/software/apache-doris-fe-1.2.3-bin-x86_64.tar.xz
tar -xvf ~/app/software/apache-doris-dependencies-1.2.3-bin-x86_64.tar.xz

# 2.创建 doris 目录
mkdir -p ~/app/module/doris

# 3.把software解压的文件移动到 module/doris 下边 
mv apache-doris-be-1.2.3-bin-x86_64/ ~/app/module/doris/doris-be
mv apache-doris-fe-1.2.3-bin-x86_64/ ~/app/module/doris/doris-fe

配置环境变量  sudo vim /etc/profile.d/enviroment.sh

#DORIS_HOME
export DORIS_HOME=/home/zr/app/module/doris
export PATH=$PATH:$DORIS_HOME/doris-be/bin:$DORIS_HOME/doris-fe/bin

使之生效

source /etc/profile

2.3 修改limits文件

打开文件limits.conf

sudo vim /etc/security/limits.conf

在文件的末尾处添加或者修改

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

打开文件sysctl.conf 

sudo vim /etc/sysctl.conf
# 添加
fs.file-max = 6553560
vm.max_map_count = 2000000

重启生效

reboot  -h  now

2.4 配置fe

vim apache-doris-fe/conf/fe.conf

meta_dir = /home/zr/app/module/doris/meta  元数据保存位置
priority_networks = 192.168.16.101/24  # 本机ip
enable_http_server_v2 = true        #启动web服务
LOG_DIR = /home/zr/app/module/doris/log-fe       #日志保存位置

尽量在原有的基础上修改 

Doris的单机部署与安装

2.5 配置be

vim doris-be/conf/be.conf

priority_networks = 192.168.16.101/24
storage_root_path = /home/zr/app/module/doris/doris/data_dir

Doris的单机部署与安装  

2.6 配置jar包

在解压后的dependencies目录中找到java-udf-jar-with-dependencies.jar 把他拷贝到 doris-be/lib下

Doris的单机部署与安装

3.启动验证

启动fe 和 be

start_fe.sh --daemon 

start_be.sh --daemon

注:切记一定要等待几秒 一定要等 我就是没等 每次查询都没有状态显示 然后就重装好几次

测试一下 如果有palofe 就是启动成功

Doris的单机部署与安装

web连接连接测试

 http:// fe_ip:8030 (账号 root 密码默认为空)

Doris的单机部署与安装

mysql 连接    

mysql -uroot -P9030 -h 192.168.16.101

Doris的单机部署与安装

执行 一下

show frontends\G;

Doris的单机部署与安装

如果 IsMaster、Join 和 Alive 三列均为true,则表示节点正常

通过MySQL 客户端连接到 FE 之后执行下面的 SQL,将 BE 添加到集群中

ALTER SYSTEM ADD BACKEND "192.168.16.101:9050";

查看一下

SHOW BACKENDS\G

Doris的单机部署与安装

 4.基本操作

创建数据库

create database gmall;

创建表

use gmall;
CREATE TABLE IF NOT EXISTS gmall.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

导入数据 (确保数据源存在) 

数据源

10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

导入命令 

curl  --location-trusted -u root: -T /home/zr/app/module/doris/test.csv -H "column_separator:," http://192.168.16.101:8030/api/demo/example_tbl/_stream_load

Doris的单机部署与安装

查看 

Doris的单机部署与安装

 更多教程 请查看官网

也支持外部连接

Doris的单机部署与安装

本文参考

快速开始 - Apache Doris

https://blog.csdn.net/King_uuu/article/details/128791616文章来源地址https://www.toymoban.com/news/detail-418096.html

到了这里,关于Doris的单机部署与安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • Azkaban学习——单机版安装与部署

    Azkaban学习——单机版安装与部署

    目录 1.解压改名 2.修改装有mysql的虚拟机的my.cnf文件 3.重启装有mysql的虚拟机 4.Datagrip创建azkaban数据库,执行脚本文件 5.修改/opt/soft/azkaban-exec/conf/azkaban.properties文件 6.修改commonprivate.properties 7.传入mysql-connector-java-8.0.29.jar 8.开启Azkaban服务 9.进入Datagrip查看是否成功激活 10.激活

    2024年02月04日
    浏览(16)
  • doris on k8s 的安装部署

    doris on k8s 的安装部署

    官方已更新Operator部署方式,最新部署方式参考 官方文档 1. 按照官网提供地址下载部署文件 2. 修改内核配置 3. 根据服务器环境,修改doris_be.yml文件。 4. 根据服务器环境,修改doris_follower.yml文件 5. 创建服务用于外部连接doris-svc.yaml 6. 部署 7. 访问及使用, 默认账号为root,无密

    2024年02月15日
    浏览(30)
  • 蓝鲸智云6.1软件单机部署安装教程

    蓝鲸智云6.1软件单机部署安装教程

    操作系统:centos7(64位) cpu:6核 内存:8GB 蓝鲸智云版本:社区版 6.1.2 ip:192.168.46.54 安装包下载 重启电脑 3.1 rsync 3.2 pssh 检查python版本,centos7默认为 2.7.5 安装 检查是否安装成功 3.3 jq 检查 DNS 配置文件 检查 DNS 配置文件 /etc/resolv.conf 是否被加锁,如有请临时解锁。 如有加锁,

    2023年04月11日
    浏览(10)
  • Linux环境下安装部署单机RabbitMQ(离线)

    Linux环境下安装部署单机RabbitMQ(离线)

    本文档适用于在Linux系统下部署单体RabbitMQ,是在无网的情况下部署的。涉及的任何操作都是通过手动下载安装包然后上传到服务器上进行安装,因此也遇到一些问题,并在此文档中记录。 实际操作环境:Kylin V10,实际操作的Linux系统是银河麒麟。根据我安装的过程,觉得适用

    2024年02月03日
    浏览(10)
  • linux环境下ES的单机和集群部署,kibana的安装部署,cerebro的安装部署

    linux环境下ES的单机和集群部署,kibana的安装部署,cerebro的安装部署

    我选择的是7.13.0的版本,可以在官网下载对应的版本之后再上传到我们自己的Linux虚拟机上。 或者可以在自己本地linux虚拟机上执行如下命令下载es的压缩包。 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz 下载完成后如下图: 然后用如下命令执行

    2024年02月08日
    浏览(14)
  • MQTT,EMQX认识,安装,部署

    MQTT,EMQX认识,安装,部署

    EMQX ,大规模分布式物联网 MQTT 消息服务器,高效可靠连接海量物联网设备,实时处理分发消息与事件流数据,助力构建关键业务的物联网平台与应用。是一款大规模可弹性伸缩的云原生分布式物联网 MQTT 消息服务器。MQTT 协议,是基于发布/订阅模式的物联网通信协议,凭借

    2024年02月08日
    浏览(12)
  • K8S历险记-从零开始kubeadm单机安装部署k8s保姆级教程

    1.查看系统版本信息以及修改配置信息 1.1 查看cpu信息 k8s安装至少需要2核2G的环境,否则会安装失败 1.2 安装k8s时,临时关闭swap ,如果不关闭在执行kubeadm部分命令会报错 1.3 安装k8s时,可以临时关闭selinux,减少额外配置 1.4 关闭防火墙 1.5 设置网桥参数 1.6 修改hosts文件

    2024年02月08日
    浏览(15)
  • HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式(详细安装+配置+增删改查测试脚本)(附开源镜像站地址)

    HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式(详细安装+配置+增删改查测试脚本)(附开源镜像站地址)

    HBase的 官网 内容还是挺多的,下载安装包还是使用 清华大学开源软件镜像站 会快一些 ⚡️ 本文的安装文件为:hbase-2.4.5-bin.tar.gz HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。运行时不仅需要 Hadoop 还依赖 JDK 环境,HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需

    2024年04月11日
    浏览(11)
  • Apache Doris (八) :Doris分布式部署(五) Broker部署及Doris集群启动脚本

    目录 1.Broker部署及扩缩容 1.1 BROKER 部署 1.2 BROKER 扩缩容 2. Apache Doris集群启停脚本

    2024年02月11日
    浏览(14)
  • K8S单机部署-01.单机部署K8S

    转载请注明出处 K8S单机部署-00.旧版本卸载 K8S单机部署-01.单机部署K8S K8S单机部署-02.Kuboard面板部署 K8S单机部署-03.验证K8S的第一个Deployment K8S单机部署-04.NFS服务器搭建 K8S单机部署-05.静态持久化之PV、PVC(基于NFS) K8S单机部署-06.动态持久化StorageClass(基于NFS) K8S单机部署-07.调整

    2024年04月24日
    浏览(14)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包