安装JDK及Hadoop环境配置

安装JDK为了确保Hadoop能够正常运行，首先需要安装适当版本的Java Development Kit。

# 安装JDKsudo yum install java-1.8.0-openjdk-1.8.0.232-1.fc29.x86_64# 验证安装java -version

设置Hadoop用户为了便于管理，我们将创建一个专用于Hadoop的用户，并设置免密码SSH访问。

# �切换到root用户并创建hadoop用户sudo su root# 创建hadoop用户useradd hadoop# 设置hadoop用户的初始密码为`hadoop`passwd hadoop# 切换到hadoop用户sudo su hadoop# 生成SSH密钥（免密码登录）ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa# 将公钥复制到~/.ssh/authorized_keyscat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keys# 调整.ssh目录权限cd ~/.sshchmod 700 ./chmod 600 authorized_keys

解压Hadoop及设置用户权限将Hadoop解压到指定位置，并为用户分配必要的权限。

# 解压Hadooptar -xzf hadoop-2.6.0.tar.gz# 移动解压目录到/opt/hadoopmv hadoop-2.6.0 /opt/hadoop# 设置用户权限chown -R hadoop:andalone /opt/hadoop

配置环境变量配置环境变量，确保Hadoop能够识别相关路径和JDK版本。

# 添加JDK路径export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232-1.fc29.x86_64export JRE_HOME="$JAVA_HOME/jre"export CLASSPATH=".:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/bin"export HADOOP_HOME=/opt/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置核心配置文件根据需求配置各核心文件。

# 核心配置文件目录cd /usr/opt/hadoop/etc/hadoop/# 核心配置


   
     
        
     
      hadoop.tmp.dir
         
     
      /opt/hadoop/tmp
       
      
        
     
      fs.default.name
         
     
      localhost:9000


   
     
        
     
      dfs.replication
         
     
      1
       
      
        
     
      dfs.namenode.name.dir
         
     
      /opt/hadoop/dfs/name
       
      
        
     
      dfs.datanode.data.dir
         
     
      /opt/hadoop/dfs/data
       
      
        
     
      dfs.permissions
         
     
      false


   
     
        
     
      mapreduce.framework.name
         
     
      yarn
       
      
        
     
      yarn.nodemanager.aux-services
         
     
      mapreduce.shuffle


   
     
        
     
      mapred.job.tracker
         
     
      localhost:9001

（注：请根据实际需求填充对应配置文件中的其他必要属性）

启动Hadoop集群执行以下命令启动HDFS和YARN集群。

# 格式化Hadoop集群bin/hdfs namenode -format# 启动HDFS集群sbin/start-dfs.sh# 启动YARN集群sbin/start-yarn.sh# 验证集群状态tail -f /opt/hadoop/logs/hadoop-hadoop-namenode-.out

访问集群页面通过浏览器访问http://127.0.0.1:50070查看Hadoop Web 界面，确认集群状态正常运行。

注意事项