经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
【hadoop】hadoop3.2.0应用环境搭建与使用指南
来源:cnblogs  作者:CQ_LQJ  时间:2019/10/8 9:04:52  对本文有异议

下面列出我搭建hadoop应用环境的文章整理在一起,不定期更新,供大家参考,互相学习!!!

杂谈篇:

【英语学习】 Re-pick up English for learning big data (not updated regularly)

【转】大数据工程师需要学习哪些?

【转】大数据东西辣么多,我该如何给自己一个清晰的定位呢?

【转】大数据求职者说

【杂谈】大数据主流技术简介

第一篇 HADOOP部分

1.1 hadoop3.2.0的安装并测试

1.2 编译Hadoop连接eclipse的插件遇见的一系列错误,崩溃的操作 

1.3 eclipse上运行WordCount的操作过程

1.4 看懂WordCount例子

1.5 MapReduce分布式计算框架原理

第二篇 HIVE与HBASE部分

2.1 centos7下mysql的安装以及基本操作

2.2 centos7下apache-hive-3.1.2-bin的安装测试

2.3 apache-zookeeper-3.5.5的安装测试

2.4 hbase-2.2.1配置独立的zookeeper的安装与测试

第三篇 SQOOP与ZOOKEEPER部分

3.1 安装配置测试sqoop1

3.2 安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

第四篇 SPARK与SCALA部分

4.1 scala安装测试

4.2 spark-2.4.4的安装与测试

4.3 scala&sbt+idea安装配置与测试

4.4 scala&sbt+idea+spark使用过程中问题汇总(不定期更新)

4.5 spark应用(分布式估算圆周率+基于Spark MLlib的贷款风险预测)

脚本:

0.1 linux中编写脚本批量启动zookeeper

0.2 一键启动kafka脚本

命令 :


  1. Hadoop:
    启动:sbin/start-all.sh start-dfs.sh + start-yarn.sh
    停止:stop-all.sh
    启功历史服务器:sbin/mr-jobhistory-daemon.sh start jobhistoryserver
    MySQL
    启动:service mysqld start
    停止:service mysqld stop
    状态:service mysqld status
    Spark
    启动:sbin/start-all.sh
    停止:stop-all.sh
    idea
    启动:bin/idea.s

 文件分享:

  1. 链接:https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
  2. 提取码:amdl

原文链接:http://www.cnblogs.com/CQ-LQJ/p/11617149.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号