大数据与容器化技术指南：Docker、Kubernetes与大数据生态常用命令大全

        本书涵盖了Docker和Kubernetes的基本概念及常用命令，以及Zookeeper、HDFS、YARN、YARN资源池、HBase、HBase集成Phoenix、Hive、Kafka、Spark、Flink等大数据技术的常用命令。

Zookeeper

安装kerberos客户端

yum install krb5-workstation -y

安装Zookeeper客户端

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

解压

tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz

启动zk服务端

./zkCli.sh -server zknode-4454-15044:2181

查看ls / 数据打印说明启动成功

HDFS

安装插件yum install -y wget

添加Hadoop客户端

解压tar -zxvf hadoop-3.2.4.tar.gz

将HDFS组件所在位置的hadoop文件拷贝到远程客户端

路径hadoop：/opt/hadoop/etc/hadoop

scp -r hadoop root@172.1.1.1:/root/Test02/Hadoop/hadoop/etc/

在拷贝到/etc/

登录账号kinit zuser01/test

输入密码：123456

主机上需具备jdk (zk\hadoop\hive\hbase都需要JDK环境)

修改环境配置

cat /etc/profile.d/my_env.sh

vim /etc/profile.d/my_env.sh

source /etc/profile

远程链接NameNode

./hdfs dfs -ls hdfs://172.18.1.91/

未配置策略时，会有相应提示无权限

远程创建文件

./hdfs dfs -mkdir hdfs://172.18.1.91/testHadoop

查看./hdfs dfs -ls hdfs://172.18.1.91/

创建文件 ./hdfs dfs -mkdir hdfs://172.18.1.91/testHadoop

上传文件

./hdfs dfs -put hadoop.txt hdfs://172.18.1.91/testHadoop

查看

./hdfs dfs -cat hadoop.txt hdfs://172.18.1.91/testHadoop/hadoop.txt

下载

./hdfs dfs -get hdfs://172.18.1.91/testHadoop/hadoop.txt

本地pod删除文件

hdfs dfs -rm -r /output2

YARN

查看

yarn application -list

写入

yarn jar /root/Test02/Hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

读取read

yarn jar /root/Test02/Hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 1000

YARN资源池

进入yarn pod里面找到调度器配置

cd /opt/hadoop/etc/hadoop

查看默认队列信息

yarn queue -status default

创建文件并放入hdfs目录下

echo “hello yarn”>>yarnSche.txt

hdfs dfs -mkdir /yarnScheduler

hdfs dfs -put yarnSche.txt /yarnScheduler

FIFO策略不指定队列提交任务

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /output

任务执行成功，会在root.default中展示

FIFO策略指定队列提交任务

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.ztest /yarnScheduler/yarnSche.txt /output

更新下载 apt-get update

安装vim ：yum -y install vim

修改配置文件的命令，不通过组件配置页面修改，通过xshell外部命令进行修改

docker inspect fe1

cat /etc/cyber-ops/YARN/3.2.4/ResourceManager/25020/capacity-scheduler.xml

Fair策略

不指定队列

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /outpu12

指定队列

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.ztest.eng /yarnScheduler/yarnSche.txt /outpu12

Drf策略

不指定队列

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /outpu10

指定队列

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.ztest /yarnScheduler/yarnSche.txt /outpu12

查看正在执行的队列

yarn application –list

删除队列

yarn application -kill application_1676515216453_0002

Capctity

不指定队列提交

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /yarnScheduler/yarnSche.txt /outpu10

指定队列提交

yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount -D mapreduce.job.queuename=root.test /yarnScheduler/yarnSche.txt /outpu12

HBase

apt-get update -y && apt-get install -y openssh-client 安装scp

连接bin/hbase shell

查看

list

创建表

create ‘zrtest’, ‘test’

插入

put ‘zrtest’,’1’,’test’,’zs’

查询

get ‘zrtest’,’1’

删除

delete ‘zrtest’,’1’,’test’

Hbase集成Phonenix

进入Hbase的终端bin下，操作phonenix

sqlline.py

查询表

!tables

!describe tablename可以查看表字段信息

创建表

create table “test”(

empid varchar primary key,

“name”.”firstname” varchar,

“name”.”lastname” varchar,

“company”.”name” varchar,

“company”.”address” varchar

);

查询表

select * from “test”;

查看表信息

!table “test”

插入数据

UPSERT INTO “test”(“EMPID”,”firstname”,”lastname”,”name”,”addres”) VALUES(‘1’,’foo’,’zr’,’zrgg’,’123hao’);

更新数据

UPSERT INTO “test”(“EMPID”,”firstname”,”lastname”,”name”,”addres”) VALUES(‘1’,’fee’,’zr’,’zrgg’,’123hao’);

翻页查询

select * from “test” order by EMPID desc limit 1 offset 0;

删除表信息

delete from “test” where “EMPID”=’1’;

在Hbase中查看Phoenix的表信息

List

scan ‘test’

删除表

drop table “test”;

在Hbase中创建表

create ‘phoenix’,’info’

插入数据

put ‘phoenix’, ‘row001’,’info:name’,’phoenix’

put ‘phoenix’, ‘row002’,’info:name’,’hbase’

phoenix下创建视图映射HBase表

create view “phoenix” (

pk VARCHAR primary key,

“info”.”name” VARCHAR

);

查询，数据已可查到

select * from “phoenix”;

Hive

安装远程客户端

wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

解压

tar -zxvf apache-hive-3.1.2-bin_(1).tar.gz

beenline连接时，根据hive-site中的principal进行连接

beeline -u “jdbc:hive2://172.18.1.1:30862/;24695@CYBEROPS.DATAC.COM” rel=”nofollow””>principal=hive/haproxy-5487-24695@CYBEROPS.DATAC.COM“

查看

show databases;

创表

create table zhvie(id int ,name string);

查表

select * from zhvie;

插入表

insert into zhvie values(1,’zhangsan’);

Kafka

下载kafka客户端

wget https://archive.apache.org/dist/kafka/2.8.2/kafka_2.12-2.8.2.tgz

安装客户端

tar -zxvf kafka_2.12-2.8.2.tgz

查看list

bin/kafka-topics.sh –list –bootstrap-server kafkanode-4627-15759:31966 –command-config config/consumer.properties

创建

bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –create –topic first –partitions 2 replication-factor 3 –command-config config/producer.properties

删除topic 单个

bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –delete –topic zutesttp –command-config config/consumer.properties

删除多个

bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –delete –topic zutes,hkaft –command-config config/consumer.properties

修改

bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –alter –topic first –partitions 1 replication-factor 2 –command-config config/producer.properties

查看每一个topic详情

bin/kafka-topics.sh –bootstrap-server kafkanode-4627-15759:31966 –describe –topic first –command-config config/producer.properties

生产消息

bin/kafka-console-producer.sh –bootstrap-server kafkanode-4627-15759:31966 –topic zuser01 –producer.config config/producer.properties

当生产者填写数据后，消费者可看到发送的消息

消费消息

bin/kafka-console-consumer.sh –bootstrap-server kafkanode-4627-15759:31966 –topic zuser01 –consumer.config config/producer.properties

查看之前发送的所有消息

bin/kafka-console-consumer.sh –bootstrap-server kafkanode-4627-15759:31966 –topic zuser01 –from-beginning –consumer.config config/producer.properties

Spark

下载客户端

wget https://archive.apache.org/dist/spark/spark-3.2.2/spark-3.2.2-bin-hadoop3.2.tgz

解压

tar -zxvf spark-3.2.2-bin-hadoop3.2.tgz

spark提交任务，任务从hdfs中获取jar包文件，然后执行jar文件

spark-submit -v –deploy-mode cluster –class org.apache.spark.examples.SparkPi –master yarn hdfs:///spark-examples_2.12-3.2.2.jar 1

Flink

下载客户端

wget https://archive.apache.org/dist/flink/flink-1.13.6/flink-1.13.6-bin-scala_2.12.tgz

解压

tar -zxvf flink-1.13.6-bin-scala_2.12.tgz

安装scp插件

升级版本apt update && apt install -y libtinfo5 –allow-remove-essential

apt-get update -y && apt-get install -y openssh-client 安装scp

在本地pod中执行任务

flink run examples/batch/WordCount.jar

停止yarn session

echo “stop” | yarn-session.sh -id application_1678335961951_0003

强制杀死yarn session

yarn application -kill application_1678335961951_0003

向指定yarn session提交任务：

flink run -t yarn-session -Dyarn.application.id=application_1678335961951_0003 examples/batch/WordCount.jar

flink run examples/batch/DistCp.jar –input hdfs:///LICENSE –output hdfs:///ddd

Docker和K8s操作命令

docker命令相关————————-

docker ps【列出docker下的容器列表】

yum -y remove docker-ce 【卸载docker】

docker ps

ps -ef | grep agent

docker ps【列出docker下的容器列表】

cd .ssh/【进入到.ssh文件下 目录 /root/.ssh】

ll【查看数据信息】

cat authorized_keys【查看公钥】

ssh root@172.1.1.1

ctrl+d 登出

pwd【查看目录信息】

hostname【查看主机名称】

docker logs –tail=500 -f 21d6bb5052e2【查看日志信息 21d6bb5052e2是CONTAINER ID的标识】

ctrl +c 【退出查看日志】

docker exec -it 21d6bb5052e2 bash 【进入到组件的终端 21d6bb5052e2是CONTAINER ID的标识】

docker stats 【查看资源使用情况】

docker search centos 【查看下载stars最多的镜像】

yum install -y lrzsz 【安装插件】

docker命令相关————————-结束———————

k8s命令相关——————-开始—————————

-n 后跟k8s命名空间信息

kubectl -h 【查看具体操作参数】

kubectl get nodes 【获取节点信息】

kubectl get pods【获取节点信息】

kubectl cluster-info【查看集群信息】

kubectl get pods -n cyberops-l8nc 【查看各组件信息 cyberops-l8nc 是K8s命名空间】

kubectl get pods -o wide 【查看pods所在的运行节点】

kubectl get pods -o yaml【查看pods定义的详细信息】

kubectl exec pod-hs-2853-13904 env -n cyberops-l8nc 【查看pods环境变量】

kubectl exec pod-hs-2853-13904 env -n cyberops-l8nc | grep HADOOP 【查看hadoop信息】

kubectl describe pod pod-hs-2853-13904 -n cyberops-l8nc 【查看pod应用信息】

kubectl describe node master-01 【查看node节点日志信息】

kubectl logs –tail 200 -f pod-hs-2853-13904 -n cyberops-l8nc 【查看日志信息】

kubectl logs –since=1h pod-hs-2853-13904 -n cyberops-l8nc【查看pod近一个小时的日志信息】

kubectl exec -it pod-hs-2853-13904 bash -n cyberops-l8nc 【进入到组件的终端】

kubectl get service【查看命名空间】

kubectl get pods -n cyber-ops【查看ops下服务】

kubectl exec -it cyberops-web-5f546758b5-lmsdm bash -n cyber-ops 【免密进入ops-web服务】

kubectl get pods -A 【查看所有在k8s运行的集群】或者 kubectl get all

kubectl get pods -A -owide 【查看详细信息】

kubectl get ns 【查看所有的命名空间】或者 kubectl get namespaces

kubectl get pod –show-labels 【查看标签信息】

kubectl get node、kubectl get nodes【查看节点信息】

kubectl get pods -o wide 【查看pod运行的ip地址】

kubectl get pod –all-namespaces【查看所有pod的所属命名空间】

kubectl get pod –all-namespaces -o wide 【查看命名空间和运行节点】

kubectl get rs 【查看副本pod节点】

kubectl get ev | tail -n 10 【查看事件】

kubectl explain rs【查看资源文档信息】

kubectl top nodes【查看node资源使用情况】

kubectl –help【查看帮助文档】

kubectl version【查看版本号，详细】或者 kubectl version –short 【简约】

ls -a 【查看隐藏文件】

kubectl logs –tail 500 -f cyberops-web-7fc98fddcb-hk7h7 -n cyber-ops 【查看ops项目下的日志信息】

kubectl get pods -n 【k8s空间名】 -w【监控组件安装】

kubectl get events -n cyberops-s97d 【查看k8s下的组件安装信息】

kubectl get pods,svc -n cyberops-s97d 【查看端口信息】