大数据组件配置–Flink

系统环境为 CentOS 7.5 版本。

• 安装 Java 8。

• 安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。

• 配置集群节点服务器间时间同步以及免密登录，关闭防火墙。

• flink版本flink-1.14.0。

• Scala版本scala_2.12。

flink安装包:flink-1.14.0-bin-scala_2.12.tgz

安装包位置:/opt/software/flink-1.14.0-bin-scala_2.12.tgz

解压位置:/opt/module/

单节点模式(不推荐)

解压压缩包

最简单的启动方式，其实是不搭建集群，直接本地启动。本地部署非常简单，直接解压安装包就可以使用，不用进行任何配置；一般用来做一些简单的测试

tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

进入解压目录

cd /opt/module/flink-1.14.0/

启动/关闭集群

启动Hadoop集群

dfs-start.sh
yarn-start.sh

启动/停止flink集群

./bin/start-cluster.sh
./bin/stop-cluster.sh

查看集群运行结果:

[root@bigdata1 flink-1.14.0]# jps

1992 StandaloneSessionClusterEntrypoint

2269 TaskManagerRunner

2381 Jps

 访问web页面

https://bigdata1:8081

节点位于bigdata1

默认端口号为8081

集群模式(不推荐)

Flink 是典型的 Master-Slave 架构的分布式数据处理框架，其中 Master 角色对应着JobManager，Slave 角色则对应 TaskManager

集群角色分配:

 解压压缩包

tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

进入解压目录

cd /opt/module/flink-1.14.0/

修改配置文件

flink-conf.yaml

vim /flink-1.14.0/conf/flink-conf.yaml

33行修改为主节点

jobmanager.rpc.address: bigdata1

workers

vim /flink-1.14.0/conf/workers

删除原有内容

bigdata2
bigdata3

masters

vim /flink-1.14.0/conf/masters

bigdata1:8081

分发安装目录

退回到flink-1.14.0/的上级目录

scp -r flink-1.14.0/ bigdata2:/opt/module/
scp -r flink-1.14.0/ bigdata3:/opt/module/

启动集群

[root@bigdata1 flink-1.14.0]# ./bin/start-cluster.sh

看看各节点启动状态

============ bigdata1 ===========

3477 StandaloneSessionClusterEntrypoint

============ bigdata2 ===========

1865 TaskManagerRunner

============ bigdata3 ===========

1868 TaskManagerRunner

访问web页面

https://bigdata1:8081

Flink on Yarn模式(生产推荐)

YARN
上部署的过程是：客户端把
Flink
应用提交给
Yarn
的
ResourceManager,

Yarn
的
ResourceManager
会向
Yarn
的
NodeManager
申请容器。在这些容器上，
Flink
会部署

27
JobManager
和
TaskManager
的实例，从而启动集群。
Flink
会根据运行在
JobManger
上的作业所需要的 slots
数量动态分配
TaskManager
资源。

解压压缩包

tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

进入解压目录

cd /opt/module/flink-1.14.0/

配置环境变量

vim /etc/profile.d/my_env.sh

#FLINK_YARN
HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

分发配置

分发环境变量

scp /etc/profile.d/my_env.sh bigdata2:/etc/profile.d/my_env.sh
scp /etc/profile.d/my_env.sh bigdata3:/etc/profile.d/my_env.sh

分发解压包

scp -r /opt/module/flink-1.14.0/ bigdata2:/opt/module/
scp -r /opt/module/flink-1.14.0/ bigdata3:/opt/module/

使用环境变量

所有节点刷新变量

source /etc/profile

启动 Hadoop 集群

包括 HDFS 和 YARN

start-dfs.sh
start-yarn.sh

启动Flink集群

执行脚本命令向 YARN 集群申请资源，开启一个 YARN 会话，启动 Flink 集群。

bin/yarn-session.sh -nm test -d

• -d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，

即使关掉当前对话窗口，YARN session 也可以后台运行。

• -jm(–jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。

• -nm(–name)：配置在 YARN UI 界面上显示的任务名。

• -qu(–queue)：指定 YARN 队列名。

• -tm(–taskManager)：配置每个 TaskManager 所使用内存。

运行结果:

访问web页面 

复制启动后生成的web链接这里是 http://bigdata2:37096

conf文件夹中配置文件解读

vim flink-conf.yaml

#flink-1.14.0/conf/flink-conf.yaml ​

#flink-1.14.0/conf/flink-conf.yaml
​
jobmanager.rpc.address: localhost #jobmanager通用配置(主机名)

jobmanager.rpc.port: 6123 #jobmanager通用配置(端口号)
​
jobmanager.memory.process.size: 1600m #jobmanager内存分配

taskmanager.memory.process.size: 1728m #taskmanager内存分配

taskmanager.memory.flink.size: 1280m #可选taskmanager内存分配(不包括进程)不推荐与上面同时配置

​taskmanager.numberOfTaskSlots: 1 #taskmanager任务槽数量(并行执行的数量能力)

parallelism.default: 1 #并行度(真正运行数量)

vim masters

#flink-1.14.0/conf/masters

localhost:8081 #jobmanager运行端:端口号

vim workers

#flink-1.14.0/conf/workers

localhost #taskmanager运行端