Windows 10轻松上手Hadoop，迈入大数据探索之旅

随着大数据时代的蓬勃发展,Hadoop作为一款功能强大的开源大数据处理框架，已逐渐成为企业级应用的首选，本文将为您详细阐述在Windows 10操作系统上安装Hadoop的详细步骤，助您轻松踏上大数据探索之旅。

准备工作

在进行Hadoop安装之前,请确保以下准备工作已完成：

硬件要求

• CPU：建议配置2核或以上
• 内存：建议4GB或以上
• 硬盘：至少预留50GB可用空间

软件要求

• 操作系统：Windows 10
• Java环境：推荐安装Java 8或更高版本
• 数据库：MySQL或SQLite（可选）

安装步骤

下载Hadoop安装包

访问Hadoop官网（https://hadoop.apache.org/），下载适用于Windows平台的Hadoop安装包，目前最新版本为Hadoop 3.x。

解压安装包

将下载的Hadoop安装包解压至本地目录,D:\hadoop-3.2.1。

配置环境变量

• 右键点击“此电脑”，选择“属性”。
• 点击“高级系统设置”。
• 在“系统属性”窗口中，点击“环境变量”。
• 在“系统变量”中，找到“Path”变量，点击“编辑”。
• 在“变量值”中，添加Hadoop的bin目录路径，D:\hadoop-3.2.1\bin。
• 点击“确定”保存设置。

配置Hadoop环境

• 进入Hadoop安装目录,找到etc\hadoop文件夹。
• 打开hadoop-env.sh文件，添加以下内容（如果不存在，则新建此文件）：

  export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_231

• 打开core-site.xml文件，添加以下内容：

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
  </configuration>

• 打开hdfs-site.xml文件，添加以下内容：

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
  </configuration>

• 打开mapred-site.xml文件，添加以下内容：

  <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  </configuration>

格式化HDFS

• 在命令行中,进入Hadoop安装目录。
• 执行以下命令：

  bin/hadoop namenode -format

• 执行成功后,会看到类似以下输出：

  Format complete.

启动Hadoop服务

• 在命令行中,进入Hadoop安装目录。
• 执行以下命令启动NameNode：

  bin/hadoop-daemon.sh start namenode

• 执行以下命令启动DataNode：

  bin/hadoop-daemon.sh start datanode

• 执行以下命令启动SecondaryNameNode：

  bin/hadoop-daemon.sh start secondarynamenode

• 执行以下命令启动ResourceManager：

  bin/yarn-daemon.sh start resourcemanager

• 执行以下命令启动NodeManager：

  bin/yarn-daemon.sh start nodemanager

验证Hadoop安装

• 在命令行中,执行以下命令查看Hadoop版本：

  bin/hadoop version

• 执行以下命令查看HDFS状态：

  bin/hdfs dfsadmin -report

• 执行以下命令查看YARN状态：

  bin/yarn node -list

至此,您已在Windows 10环境下成功安装了Hadoop，您可以根据自己的需求学习Hadoop的各项功能，开启大数据之旅，祝您学习愉快！