Kubernetes 集群部署 Hadoop2.7.2 集群的步骤-FunTeaLearn Online Web Tutorials

前言

随着数据量的日益增大，传统的单机 Hadoop 已经不能胜任大规模数据的处理，这时候我们需要部署一个 Hadoop 集群。而 Kubernetes 作为一个优秀的容器化管理系统，可以帮助我们轻松地部署和管理 Hadoop 集群。

在本文中，我们将讲解如何在 Kubernetes 集群上部署 Hadoop2.7.2 集群，让你能够更好地利用 Hadoop 处理海量数据。

准备工作

在开始部署 Hadoop 集群前，需要做一些准备工作。以下是需要准备的环境：

一台或多台具有 Docker 环境的服务器
Kubernetes 集群。如果你还没有搭建 Kubernetes 集群，可以通过 Kubeadm 来快速搭建。
kubectl 客户端。如果你还没有安装 kubectl，可以通过以下命令进行安装：

curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl
chmod +x ./kubectl
sudo mv ./kubectl /usr/local/bin/kubectl

步骤

第一步：创建 Hadoop 镜像

首先，我们需要创建一个包含 Hadoop 环境的 Docker 镜像。以下是创建镜像的步骤。

创建一个 Dockerfile 文件，包含以下内容：

// www.javascriptcn.com code example
FROM openjdk:8-jdk-slim

RUN apt-get update && apt-get install -y ssh rsync && apt-get clean

RUN groupadd hadoop && useradd -d /home/hadoop -g hadoop -m -s /bin/bash hadoop

RUN mkdir /data && chown hadoop:hadoop /data

ADD http://mirror.synyx.de/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz /home/hadoop/hadoop-2.7.2.tar.gz

RUN cd /home/hadoop && tar -xvf hadoop-2.7.2.tar.gz && rm hadoop-2.7.2.tar.gz && chown -R hadoop:hadoop hadoop-2.7.2

ENV JAVA_HOME /usr/local/openjdk-8
ENV HADOOP_HOME /home/hadoop/hadoop-2.7.2
ENV PATH $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
ENV HADOOP_MAPRED_HOME $HADOOP_HOME
ENV HADOOP_COMMON_HOME $HADOOP_HOME
ENV HADOOP_HDFS_HOME $HADOOP_HOME
ENV YARN_HOME $HADOOP_HOME
ENV HADOOP_COMMON_LIB_NATIVE_DIR $HADOOP_HOME/lib/native
ENV HADOOP_OPTS "-Djava.library.path=$HADOOP_HOME/lib"

RUN echo "export JAVA_HOME=/usr/local/openjdk-8" > /etc/environment
RUN echo "export HADOOP_HOME=/home/hadoop/hadoop-2.7.2" >> /etc/environment

EXPOSE 22 9000 50010 50020 50070 50075 50090 50470 8030 8031 8032 8033 8088 19888

ADD bootstrap.sh /etc/bootstrap.sh
RUN chown hadoop:hadoop /etc/bootstrap.sh && chmod +x /etc/bootstrap.sh

CMD ["/etc/bootstrap.sh", "-d"]

该 Dockerfile 文件中，我们使用了基于 OpenJDK8 的 slim 镜像，并安装了 ssh 和 rsync 工具，为了方便我们在容器中通过 ssh 命令访问容器内的 Hadoop 服务。同时，我们还安装了 Hadoop 的二进制包，并指定了环境变量，便于其他容器访问它。

执行以下命令来构建 Docker 镜像。

docker build -t hadoop:2.7.2 .

第二步：创建 Hadoop 部署文件

接下来，我们需要创建 Hadoop 的部署文件，包括 HDFS 和 YARN。以下是文件内容：

HDFS

// www.javascriptcn.com code example
# hdfs-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: hdfs
  labels:
    app: hdfs
spec:
  replicas: 3
  selector:
    matchLabels:
      app: hdfs
  template:
    metadata:
      labels:
        app: hdfs
    spec:
      containers:
      - name: namenode
        image: hadoop:2.7.2
        command: ["bash", "-c", "hdfs namenode"]
        ports:
        - containerPort: 50070
        volumeMounts:
        - name: data
          mountPath: /data
        - name: config
          mountPath: /home/hadoop/hadoop-2.7.2/etc/hadoop
      - name: datanode
        image: hadoop:2.7.2
        command: ["bash", "-c", "hdfs datanode"]
        ports:
        - containerPort: 50075
        volumeMounts:
        - name: data
          mountPath: /data
        - name: config
          mountPath: /home/hadoop/hadoop-2.7.2/etc/hadoop
      - name: secondarynamenode
        image: hadoop:2.7.2
        command: ["bash", "-c", "hdfs secondarynamenode"]
        ports:
        - containerPort: 50090
        volumeMounts:
        - name: data
          mountPath: /data
        - name: config
          mountPath: /home/hadoop/hadoop-2.7.2/etc/hadoop
      volumes:
      - name: data
        hostPath:
          path: /data
      - name: config
        configMap:
          name: hadoop-config
          items:
          - key: hdfs-site.xml
            path: hdfs-site.xml
          - key: core-site.xml
            path: core-site.xml

YARN

// www.javascriptcn.com code example
# yarn-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: yarn
  labels:
    app: yarn
spec:
  replicas: 3
  selector:
    matchLabels:
      app: yarn
  template:
    metadata:
      labels:
        app: yarn
    spec:
      containers:
      - name: resourcemanager
        image: hadoop:2.7.2
        command: ["bash", "-c", "yarn resourcemanager"]
        ports:
        - containerPort: 8088
        volumeMounts:
        - name: data
          mountPath: /data
        - name: config
          mountPath: /home/hadoop/hadoop-2.7.2/etc/hadoop
      - name: nodemanager
        image: hadoop:2.7.2
        command: ["bash", "-c", "yarn nodemanager"]
        ports:
        - containerPort: 8042
        volumeMounts:
        - name: data
          mountPath: /data
        - name: config
          mountPath: /home/hadoop/hadoop-2.7.2/etc/hadoop
      - name: historyserver
        image: hadoop:2.7.2
        command: ["bash", "-c", "yarn historyserver"]
        ports:
        - containerPort: 19888
        volumeMounts:
        - name: data
          mountPath: /data
        - name: config
          mountPath: /home/hadoop/hadoop-2.7.2/etc/hadoop
      volumes:
      - name: data
        hostPath:
          path: /data
      - name: config
        configMap:
          name: hadoop-config
          items:
          - key: yarn-site.xml
            path: yarn-site.xml
          - key: core-site.xml
            path: core-site.xml

第三步：创建 Hadoop 配置文件

接下来，我们需要创建用于 Hadoop 部署的配置文件。以下是将需要的配置文件打包成一个 ConfigMap 的例子。

// www.javascriptcn.com code example
# hadoop-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: hadoop-config
data:
  hdfs-site.xml: |
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:///data/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///data/datanode</value>
        </property>
    </configuration>
  yarn-site.xml: |
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>resourcemanager</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
  core-site.xml: |
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hdfs</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/tmp</value>
        </property>
    </configuration>

第四步：部署 Hadoop

最后，我们通过以下命令来部署 Hadoop。

kubectl apply -f hdfs-deployment.yaml
kubectl apply -f yarn-deployment.yaml
kubectl apply -f hadoop-config.yaml

测试 Hadoop

我们可以通过以下命令来测试 Hadoop 是否部署成功。

kubectl exec -it $(kubectl get pod -l app=hdfs -o jsonpath="{.items[0].metadata.name}") -- /bin/bash

hdfs dfs -mkdir /test
hdfs dfs -put /etc/passwd /test
hdfs dfs -ls /test
yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 2 1000

如果以上命令都能正常执行，则说明 Hadoop 部署成功。

结语

通过本文的内容，你已经了解了如何在 Kubernetes 集群上部署 Hadoop2.7.2 集群，并可以通过它轻松地处理海量数据。当然，本文只是介绍了一个简单的 Hadoop 部署方式，在实际场景中，你还需要根据自己的需求对 Hadoop 进行更加深入的配置和优化。

Source: FunTeaLearn,Please indicate the source for reprints https://funteas.com/post/679332d1504e4ea9bd7524d9

Kubernetes 集群部署 Hadoop2.7.2 集群的步骤

前言