经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
1、大数据 Hadoop配置和单机Hadoop系统配置
来源:cnblogs  作者:wangruijie  时间:2021/5/31 8:51:36  对本文有异议
  1. #查看服务器ip
  2. ip add
  3. #设置主机名称
  4. hostnamectl set-hostname master
  5. bash
  6. #查看
  7. hostname
  8. #绑定ip
  9. vi /etc/hosts

添加

服务器IP地址 master

  1. #查看ssh状态
  2. systemctl status sshd

active (running)

  1. #关闭防火墙
  2. systemctl stop firewalld
  3. #查看防火墙状态
  4. systemctl status firewalld
  5. #永久关闭防火墙
  6. systemctl disable firewalld

创建hadoop用户并设置密码

安装jdk

  1. vi /etc/profile
  2. #环境变量
  3. export JAVA_HOME=jdk安装根目录全路径
  4. export PATH=$PATH:$JAVA_HOME/bin
  5. #执行使生效
  6. source /etc/profile
  7. #查看是否可用
  8. echo $JAVA_HOME
  9. # 查看jdk安装
  10. java -version

安装配置Hadoop环境

解压
  1. vi /etc/profile
配置环境变量
  1. # HADOOP_HOME 指向 JAVA 安装目录
  2. export HADOOP_HOME=hadoop安装根目录全路径
  3. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  4. #执行使生效
  5. source /etc/profile
  6. #检查
  7. hadoop
  8. #修改目录所有者和组
  9. chown -R hadoop:hadoop 安装目录全路径

安装单机hadoop系统

进入hadoop根目录

  1. vi etc/hadoop/hadoop-env.sh

查找export JAVA_HOME修改等号后面为jdk路径

进入hadoop用户

创建imput目录

写一个统计文件,测试 MapReduce 运行

  1. hadoop jar /usr/local/src/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/output

查看输出目录

查看输出目录下part-r-00000文件

递归删除输出目录

原文链接:http://www.cnblogs.com/wangruijie/p/14823873.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号