Hadoop学习(5)-HBASE的安装和命令行操作和java操作Hadoop学习(5)-HBASE的安装和命令行操作和java操作
使用HABSE之前,要先安装一个zookeeper
zookeeper是干嘛的呢
Zookeeper的作用1.可以为客户端管理少量的数据kvkey:是以路径的形式表示的,那就意味着,各key之间有父子关系,比如/ 是顶层key用户建的key只能在/ 下作为子节点,比如建一个key: /aa...[2019/7/29]
Hive安装
1 老三样
2 开启hadoop 完全开启 start-all.sh
3 确认我们的MYSQL处在工作状态
4 修改HIVE的配置文件
cd /usr/local/hive/conf
hive-2.x
cp ...[2019/7/26]
Hadoop学习(4)-mapreduce的一些注意事项Hadoop学习(4)-mapreduce的一些注意事项
关于mapreduce的一些注意细节
如果把mapreduce程序打包放到了liux下去运行,
命令java –cp xxx.jar 主类名
如果报错了,说明是缺少相关的依赖jar包
用命令hadoop jar xxx.jar 类名因为在集群机器...[2019/7/25]
Hadoop学习(3)-mapreduce快速入门加yarn的安装
mapreduce是一个运算框架,让多台机器进行并行进行运算,
他把所有的计算都分为两个阶段,一个是map阶段,一个是reduce阶段
map阶段:读取hdfs中的文件,分给多个机器上的maptask,分文件的时候是按照文件的大小分的
比如每个maptask都会处理1...[2019/7/25]
Hadoop集群搭建-01前期准备
Hadoop集群搭建-05安装配置YARN
Hadoop集群搭建-04安装配置HDFS?
Hadoop集群搭建-03编译安装hadoop
Hadoop集群搭建-02安装配置Zookeeper
Hadoop集群搭建-01前期准备
整个搭建hadoop集群的流程,包括
前期准备
安装zoo...[2019/7/25]
零基础转大数据系统学习路线,100天就能成功转行!
近年来,随着大数据技术的发展,企业纷纷意识到大数据的重要性,也被广泛应用于各行各业。同时,大数据行业前景好、薪资高的优势,也吸引了众多对大数据感兴趣的学习者,无论是刚毕业的大学生,还是准备转型寻求新机会的职场人。
目前大数据行业正处于上升期,大量的人才缺口也促成行业薪资的持续走高和良好的发展前...[2019/7/25]
Hadoop学习(2)-java客户端操作hdfs及secondarynode作用
首先要在windows下解压一个windows版本的hadoop
然后在配置他的环境变量,同时要把hadoop的share目录下的hadoop下的相关jar包拷贝到esclipe
然后Build Path
下面上代码
import java.io.BufferedReader;...[2019/7/24]
Hadoop学习(1)-hdfs安装及其一些操作
hdfs:分布式文件系统
有目录结构,顶层目录是: /,存的是文件,把文件存入hdfs后,会把这个文件进行切块并且进行备份,切块大小和备份的数量有客户决定。
存文件的叫datanode,记录文件的切块信息的叫namenode
Hdfs的安装
准备四台linux服务器
...[2019/7/23]
Hadoop 文件系统命令行基础
Hadoop 命令行最常用指令篇:
1.ls (list directory)
Usage: hadoop fs -ls [R]
Option: -R => 递归显示
2.mkdir (make directory)
U...[2019/7/22]
hadoop集群搭建及易踩坑收录
配置前先把域名映射配好哈 详情参考我的其他随笔
下载好hdfs.tar.gz 后
在/home/ldy下
mkdir app
tar -xzvf hdfs.tar.gz -C /home/...[2019/7/19]
KUDU数据导入尝试一:TextFile数据导入Hive,Hive数据导入KUDU
背景
SQLSERVER数据库中单表数据几十亿,分区方案也已经无法查询出结果。故:采用导出功能,导出数据到Text文本(文本>40G)中。
因上原因,所以本次的实验样本为:【数据量:61w条,文本大小:74M】
选择DataX原因
试图维持统一的异构数据源同步方案。(其实行不通)
试图进...[2019/7/19]
最新大数据学习路线最新大数据学习路线
最近很多人问小编现在学习大数据这么多,他们都是如何学习的呢。很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门?
应该学习哪些技术?
学习路线又是什么?
今天特意为大家整理了一份大数据从入门到精通的学习路线。并且附带学习资料和视频。希望能够帮助到大家。
第一...[2019/7/15]
大数据第一讲
第一讲:大数据基础入门
第一节:为什么要学习大数据 1、目的:很好工作 2、对比:Java开发和大数据开发
第二节:什么是大数据? 举例: 1、商品推荐: 问题:(1)大量的订单如何存储? (2)大量的订单如何计算? 2、天气预报: 问题:(1)大量的天气数据如何存储?...[2019/7/12]
大数据常用技术栈一览
大数据常用技术栈一览 —— GitHub 地址:https: github.com/heibaiying/BigData-Notes,主要技术栈如下:
?? 前 言
大数据常用技术栈思维导图
大数据常用软件安装指南
一、Hadoop
分布式文件存储系统——HDFS
分布式计算框架——M...[2019/7/8]
大数据思考
1.前言
记得从上大学的时候就已经听说过这个词语 以前的理解可能就是数据量超大很多嘛 到这几年大数据这个词语被人们谈论得也越来越频繁 也越来越想了解它的所以自己才会去学习 我觉得做任何事之前肯定有某种驱使你去了解它的过程 以下仅是自己个人的理...[2019/7/8]
用三台虚拟机搭建Hadoop全分布集群
用三台虚拟机搭建Hadoop全分布集群
所有的软件都装在/home oftware下
虚拟机系统:centos6.5
jdk版本:1.8.0_181
zookeeper版本:3.4.7
hadoop版本:2.7.1
1.安装jdk
准备好免安装压缩包放在...[2019/7/5]
Hadoop框架起步之图解SSH、免密登录原理和实现方法
1. 前言
emmm….最近学习大数据,需要搭建Hadoop框架,当弄好linux系统之后,第一件事就是SSH免密登录的设置。对于SSH,我觉得使用过linux系统的程序员应该并不陌生。可是吧,用起来简单,真让你说出个所以然,还是件比较困难的事(大佬绕路,此篇文章不属于你~)。然后,我就好奇心...[2019/7/5]
缺乏投资、股价暴跌,谁在“谋杀”Hadoop?
近日,Hadoop 领域发生几件不太美好的事情,先是 MapR 宣布如果无法获得新的投资,就必须要裁员百余人,并关闭硅谷总部,再是 Cloudera 股价暴跌 43,估值缩水。眼看 Hadoop 三大商业公司起高楼,为何忽然之间楼斜了呢?为了搞清楚其中原因,我们采访了多位行业内的技术专家。[2019/7/3]
Hive的一些学习内容Hive的一些学习内容
Hive相关
什么是metastore?
metadata是元数据,包含数据库、表、字段、分区等信息。作用:客户端连接MetaStore服务,metastore再去连接MySQL数据库存储元数据,有了metastore服务可以实现多客户端同时连接MySQL。
metastore三种...[2019/7/3]
在Ubuntu上安装hadoop-2.7.7
1.安装open-vm-tools
sudo apt-get install open-vm-tools
2.安装openjdk
sudo apt-get install openjdk-8-jdk
3.安装配置 h
apt-get install open ...[2019/7/2]
到底要怎么学习大数据?
大数据开发学习内容:Java语言基础:Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射,多线程、Swing程序与集合类;HTML、CSS与JavaScript:PC端网站布局、HTML5+C...[2019/6/28]
啃掉Hadoop系列笔记(03)-Hadoop运行模式之本地模式
Hadoop的本地模式为Hadoop的默认模式,不需要启用单独进程,直接可以运行,测试和开发时使用。
在《啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建》中若环境搭建成功,则直接可以使用本地模式。
&n...[2019/6/26]
啃掉Hadoop系列笔记(01)-Hadoop框架的大数据生态啃掉Hadoop系列笔记(01)-Hadoop框架的大数据生态
一、Hadoop是什么
1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构
2)主要解决,海量数据的存储和海量数据的分析计算问题。
3)广义上来说,HADO...[2019/6/24]
对于程序员来说,如何才能快速转行赶上大数据这辆高铁呢?对于程序员来说,如何才能快速转行赶上大数据这辆高铁呢?
大数据为大家整理了Ofer Mendelevitch自己的观点。
Mendelevitch认为无论是Java程序员还是业务分析师都有机会成为数据科学家,以下是他对不同人群给出的具体建议:
Java程序员
作为Java开发者,你对软件工程的规则已经了然于心,第一步需要了解机器学习的...[2019/6/24]
大数据就业的三大方向和最热门十大岗位
当下,大数据方面的就业主要有三大方向:
一是数据分析类大数据人才,
二是系统研发类大数据人才,
三是应用开发类大数据人才。
他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。
在学习大数据的过程当中有遇见任何问题,可以加入我的Jav...[2019/6/24]
啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建
一、新增一个普通用户bigdata
设置bigdata用户具有root权限
二、配置静态ip
若机器为克隆的则该文件下存在多个物理地址, 删除eth0该行;将eth1修改...[2019/6/24]
大数据学习计划
大数据如此火热的现在,想必许多小伙伴都想要加入这个行业。也是我们今天就要拿出收藏已久的大数据学习计划。帮助你不走弯路,迈向大数据
1
大数据应用离不开基础软件的支撑,且大部分大数据组件部署在 Linux 操作系统上的用户空间,也有很多组件也借鉴了Linux 操作系统的一些设计精髓,所以 Lin...[2019/6/21]
大数据学习详细路线
很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣扣群: 142974151,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,...[2019/6/19]
Consul初探-服务注册和发现
前言
经过上一篇的学习,现在已经来到了服务注册发现环节;Consul 的核心功能就是服务注册和发现,Consul 客户端通过将自己注册到 Consul 服务器集群,然后等待调用方去发现服务,实现代理转发到真正的业务系统,还可以基于服务发现做负载均衡,甚至可以在客户端请求到底服务之前进行拦截,做一些...[2019/6/17]
Hadoop、storm和Spark Streaming简单介绍(非原创)
文章大纲
一、Hadoop是什么二、storm是什么三、Spark Streaming是什么四、Spark与storm比较五、参考文章
一、Hadoop是什么
1. 简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可...[2019/6/17]
云计算与大数据介绍(非原创)云计算与大数据介绍(非原创)
文章大纲
一、什么是云计算二、什么是大数据三、云计算与大数据、人工智能关系四、参考文章
一、什么是云计算
云计算(Cloud Computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往提供通用的网络业务应用,...[2019/6/17]
大数据处理逻辑与关键技术(非原创)
文章大纲
一、大数据概念介绍二、大数据处理逻辑三、数据库处理关键技术四、数据相关从业者和角色五、参考文章
一、大数据概念介绍
https: www.jianshu.com/p/5b488c39af80
二、大数据处理逻辑
大数据处理的数据级...[2019/6/17]
大数据到底要怎么学习?
今天为大家带来IT界最为火爆的大数据行业的硬核知识点——大数据挖掘技术的体系分析。想要了解大数据或者开始学习大数据的你一定不要错过。
对于大数据的挖掘请求,包括面向于文本的挖掘、机器学习等,挖掘算法的复杂度高、数据的计算量大,针对于大数据的规模大、速度快以及类型多样的特点,将大数据挖掘...[2019/6/17]
Mac上Hive安装配置
Mac上Hive安装配置
1、安装
下载hive,地址:http: mirror.bit.edu.cn/apache/hive/
之前我配置了集群,tjt01、tjt02、tjt03,这里hive安装在tjt01机器上。
我下载的是“apache-h...[2019/6/17]
大数据处理技术怎么学习呢?
首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。
Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、St...[2019/6/12]
分享4个最受欢迎的大数据可视化工具
想像阅读书本一样阅读数据流?这只有在电影中才有可能发生。 在现实世界中,企业必须使用数据可视化工具来读取原始数据的趋势和模式。
大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时,以此做决策就变得容易多了。 为了满足并超越客户的期望,大数据可视化...[2019/6/12]
大数据从入门到精通
大数据被认为是“未来的新石油”,在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。
作为 IT 类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。国内 IT、通讯、行业招聘中,有 10% 都是和大数据相...[2019/6/10]
从零开始大数据学习路线
“怎么学习大数据?学大数据要学编程吗?大数据都学什么知识” 等等类似的问题。而近期类似的问题越来越多,
那么,零基础学员大数据学习路线图该如何去系统化设置呢?今天就来说说,真正专业的大数据学习路线是哪些?
推荐一个大数据学习群 142974151每天晚上20:10都有一...[2019/6/10]
零基础如何学习好大数据?零基础如何学习好大数据?
小白如何学习大数据?相信下面我们讲到的入门级学习方法,能够让你快速入门。
如今的大数据行业刚刚起步,但这也不代表我们无法去系统的学习,尤其是对于一些小白。了解系统的学习大数据的方法将更有利于自己更加快速有效的去学习大数据。本人作为一名编程小白,在自学了几个月的java开发之后(ps:无java基...[2019/6/10]
什么是大数据,学习大数据需要什么基础?大数据学习路线和就业方向
一、首先要搞清楚什么是大数据
大数据又称巨量资料,就是数据量大、来源广、种类繁多(日志、视频、音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据。
专业的来讲:大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化...[2019/6/6]
大数据学习路线
一、大数据介绍
大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。
针对以上主要的4个特征我们需要考虑以下问题:
数据来源广,该如何采集汇总?...[2019/6/4]
零基础大数据新手学习路线教程
大数据~数据挖掘,越来越火,90%的企业都在运用或者都想要利用大数据为其带来更便利的服务,从而大数据高端软件类人才可谓供不应求。
如何学好大数据?
第一阶段:大数据新手入门系统教程Java+MySQL+关系型数据库+阿里巴巴《码出高效》编码规约
知识点
一.Java基础入门:Jav...[2019/6/4]
大数据必修三大技能 ,你知道吗?大数据必修三大技能 ,你知道吗?
大数据,人工智能技术引领科技潮流,推开大数据时代的大门!国家点赞!政策扶持,前景斐然!紧接着,学习大数据的人才便如过江之鲫,络绎不绝!整体形势,欣欣向荣!在这里,小编为大家送上技术干货,助大家一臂之力,学习大数据技术,一定要注重培训质量,只有如此,方可事半功倍!接下来,就为大家讲解,大数据必修的三...[2019/6/4]
Hive搭建与简单使用
hive搭建与简单使用(1)
标签(空格分隔): hive,mysql
hive相当于编译器的组件,他并不存储数据,元数据存储在mysql中,数据则存放在hdfs中,通过hive,可以利用sql语句对存储在hdfs的数据进行处理。
安装前准备
Hadoop要搭建好(参考前面的文章)
mysq...[2019/6/3]
大数据如何快速有效的学习?
近几年大数据处于火热中,觉得大数据很火,就业很好,薪资很高。。。。。。。许多人想要转行,那么作为大数据初学者想往大数据方向发展,该学哪些技术,学习路线是什么样的,如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业...[2019/5/30]
hadoop一主一从部署(1)
一、安装前说明
主机IP:192.168.132.128
从机IP:192.168.132.129
1. 所有的安装包我放在了/root/这个目录下,你要根据自己情况去修改,这点必须注意
2. 采用的安装包如下
jdk-7u79-linux-x64.tar.gz,hadoop-2.8.0.tar....[2019/5/30]
我所理解的云计算 -来自王坚博士的谈话领悟
当云计算成了一种公共服务,一种基础设施,像我们生活中使用的电一样,方便,可靠,安全,简单,那么才真正发挥了它的价值。
信息时代的互联网,都是自家打井挖水喝,而阿里云做的呢是想建一个自来水厂,配置大型的计算设备,用操作系统进行资源调配,最大限度地满足人们的用水需要,无论是高峰还是低谷,无...[2019/5/27]
什么是MapReduce?
【学习笔记】
什么是MapReduce?马 克-to-win @ 马克java社区:1)MapReduce是面向大数据并行程序设计的模型和方法,这一点很像我们前面讲的MVC,MVC解决动态网站问题而 MapReduce解决大数据问题,和 2)MapReduce也是一个并行计算软件框架。比如前面...[2019/5/27]
自学大数据路线
大数据学习线路图
这个学习线路图,主要是介绍接下来要学习的买个阶段,以及每个阶段能学到什么知识!
第一阶段:
主要学习java基础,学完出来并不能找工作,因为学的都是基础,需要更进一步的努力,如果...[2019/5/27]
《大数据原理与技术》学习笔记(一)大数据概述
大数据概述
物联网、云计算和大数据,是第三次信息化浪潮的产物。
技术支撑:存储设备容量的不断增加、CPU处理能力大幅提升、网络带宽不断增加。
数据产生方式:经历了运营式系统、用户原创阶段,进入了感知式系统阶段,物联网技术,可穿戴设备、各种传感器之类的使数据量更大、更密集。
大数据的4V说法
...[2019/5/27]