学习方式，有很多种，有的人会选择提前去预习，提前去学习，将很多知识都自己去提前学习一步，他将时间用在将来要学的知识上。而有些人则是循序渐进，一步一个脚印的学习，虽然节奏慢，但很稳，大学留给每个人的学习时间都是足够的，只要你能够坚持，也必定能够站在和他人一样的高度。 我还是要推荐下我自己创建的大数据...[2018/11/23]

绪论 大数据处理 数据的价值 受众较少 一种不同的方法 Hadoop 基于Amazon web Service的云计算 云太多 第三种方法 不同类型的成本 AWS：Amazon的弹性架构 本书内容 安装并运行Hadoop 基于本地Ubuntu主机的...[2018/11/23]

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容,保证零linux基础入门。如果你从没有使用过linux,别担心,本节内容可以让你入门。Linu...[2018/11/22]

本文是对Hadoop2.2.0版本的MapReduce进行详细讲解。请大家要注意版本，因为Hadoop的不同版本，源码可能是不同的。 以下是本文的大纲： 1.获取源码2.WordCount案例分析3.客户端源码分析4.小结5.Mapper详解 　　5.1.map输入 　　5.2.map输出...[2018/11/22]

一、distinct,group by与ROW_Number()窗口函数使用方法1. Distinct用法：对select 后面所有字段去重，并不能只对一列去重。 （1）当distinct应用到多个字段的时候，distinct必须放在开头，其应用的范围是其后面的所有字段，而不只是紧挨着它的一个字段，...[2018/11/22]

本文主要讲elasticsearch-2.2.1的安装过程。 准备工作： 1.搭建虚拟机 你需要先参考 hadoop2集群环境搭建 把你的虚拟机搭建起来-hadoop环境可以先不用搭建（完成步骤1到步骤8） 2.下载elasticsearch包 下载elasticsea...[2018/11/22]

干货走起，闲话不多说，以下就是小编整理的大数据学习思路 第一阶段：linux系统 本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。 另：目前企业中无疑例外是使用Linux来搭建或...[2018/11/17]

在idea和eclipse中调试hadoop中hdfs文件，之前好好的，结果突然就出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(...[2018/11/17]

大数据已经成为时代发展的趋势，很多人纷纷选择学习大数据，想要进入大数据行业。大数据技术体系庞大，包括的知识较多，系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识？ 1、学习大数据首先要学习Java基础 怎样进行大数据学习的快速入门？学大数据课程之前要先学习一种计算机编程语言...[2018/11/16]

现阶段大数据如火如荼，很多人想要学习大数据，但是却不了解大数据，也不知道该从哪开始学起的同学，希望这篇文章能够帮到你们。  1. Linux基础和JavaSE基础【包含mysql】 这些是基本功，刚开始也不可能学的很精通，最起码要对linux中的一些基本的命令混个脸熟，后面学习各种框架...[2018/11/15]

1.简介  若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。 若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算...[2018/11/13]

每个人都在说大数据，但是大数据到底是什么？很多人都没有搞清楚。所以大数据学习要学什么知识自然就不是非常清楚了。   什么是大数据？ 其实从字面意义上讲，我们就可以进行简单的了解，大数据就是大的数据，也可以称之为海量数据或巨量数据。大数据相对的就是小数据或者普通数据，大数据与小数据或平...[2018/11/9]

目前，大数据人才短缺。许多人希望通过培训进入大数据产业。同时，他们会问，大数据培训难学吗？零基点能学到大数据吗？大数据培训并不难，但仍有赖于个人坚持不懈的学习。大数据的零基础培训当然没有问题。目前，许多大数据培训机构都开设了零起点的培训课程。这也是绝大多数学生的福利。在这个人才短缺的时代，把握时间...[2018/11/9]

Hbase提供了丰富的Java API，以及线程池操作，下面我用线程池来展示一下使用Java API操作Hbase。 项目结构如下： 我使用的Hbase的版本是 hbase-0.98.9-hadoop2-bin.tar.gz 大家下载后，可以拿到里面的lib目录下面的jar文...[2018/11/9]

 MapReduce执行流程及单词统计WordCount示例  [2018/11/9]

如果我们用成语来形容近几年的大数据产业，也许最合适的就是：如火如荼！ 从大量融资、大数据从业者薪资上涨、从研发到商业应用的技术，到2017年的大数据产业可以说已经赢得了全世界的关注。然而，当涉及到大数据时，很多人认为普通人根本无法进去。真的是这样吗？普通人只看招聘人员的巨额薪水吗？ 事实上，...[2018/11/6]

很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。 如果你想学习，那么首先你需要...[2018/11/6]

1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。 近几年，在thehackernews等网站上总会时不时看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。...[2018/11/5]

在安装和测试HBase之前，我们有必要先了解一下HBase是什么 我们可以通过下面的资料对其有一定的了解： HBase 官方文档中文版 HBase 深入浅出 我想把我知道的分享给大家，方便大家交流。 以下是本文的大纲： 1.Hadoop集群环境搭建2.Hbase的介绍3.单...[2018/11/3]

最近来有位同学前来咨询，他留言说：很喜欢大数据，也看好大数据的前景，但是自己没有Java基础，不确信自己有没有能力学好大数据，自信心严重不足。其实，这种情况并不少见，很多同学都在大数据大门前徘徊，承受各种困扰折磨，而顾虑中的第一拦路虎便是Java。所以好程序员今日就和大家分析下，学习大数据一定要学...[2018/11/2]

学hadoop需要什么基础？Hadoop作为大数据工业中的主引擎，Hadoop就像是大数据世的一把钥匙，想要进入数据世界，首先你得显得得到这把钥匙，才能打开大门。 学hadoop需要什么基础？Hadoop是一个分布式计算架构，更重要的是它是一个可扩展的生态系统，像IBM，EMC，Amazon，微...[2018/11/1]

在安装和测试hive之前，我们需要把Hadoop的所有服务启动 在安装Hive之前，我们需要安装mysql数据库 --mysql的安装 - (https: egmentfault.com/a/1190000003049498) --检测系统是否自带安装mysql yum list ...[2018/11/1]

小编将此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。 根据数据应用的不同阶段，本文将从数据底层到最后应用，来谈谈那些数据人的必备技能。 1、大数据平台 目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、S...[2018/10/31]

零基础的同学学习大数据开发不能急于求成，要分阶段分步骤来一步步完成，科多大数据给大家来分享一下大数据的学习路线是什么？小白该怎么学习大数据呢，大概可以分为四步： 第一个阶段：了解大数据的基本概念 首先，学习一门课程的时候，要对这门课程有一个简单的了解，比如说，要先学习这门课程的 一些专业的术语...[2018/10/30]

一图看懂hadoop分布式文件存储系统HDFS工作原理 [2018/10/29]

在查询了很多资料以后，发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章。 所以，我想把我知道的分享给大家，方便大家交流。 以下是本文的大纲： 1. 在windows7 下面安装虚拟机2.在虚拟机上面安装linux操作系统3.启动Linux操作系统4.修改hostname...[2018/10/29]

干货走起，闲话不多说，以下就是小编整理的大数据学习思路 第一阶段：linux系统 本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。 另：目前企业中无疑例外是使用Linux来搭建或部署项...[2018/10/21]

一、首先配置集群信息 1 vi /etc/hosts   二、安装zookeeper  1、解压至/usr/hadoop/下 1 tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/hadoop/ 2、进入/...[2018/10/20]

2018年已经过去一半多，大数据分析如今已不能再称之为新技术，大多数移动应用程序开发人员已经明白，他们需要挖掘他们的数据来积极获取日常的见解。许多大型应用程序开发企业已经意识到，要在市场上不断地发展和更新，必须采用大数据技术，科多大数据同样觉得如此，如今越来越离不开数据，大数据技术将提供最好的数据...[2018/10/20]

  学习大数据首先要了解大数据的学习路线，首先搞清楚先学什么，再学什么，大的学习框架知道了，剩下的就是一步一个脚印踏踏实实从最基础的开始学起。这里给大家普及一下学习路线：hadoop生态圈——Strom——Spark——算法。所以学习hadoop是第一步，在这里声明一下，在学习h...[2018/10/19]

Hadoop测试Yarn和MapReduce 1.配置Yarn （1）配置ResourceManager 生产环境中，一般是重开一台机器作为ResourceManager，这里我们以Master机器代替。 修改yarn-site.xml： <?xml version="1.0"?>...[2018/10/19]

Hadoop进阶 1.配置SSH免密 （1）修改slaves文件 切换到master机器，本节操作全在master进行。 进入/usr/hadoop/etc/hadoop目录下，找到slaves文件，修改： slave1 slave2 slave3 （2）发送公钥 进入根目录下的. h目录...[2018/10/18]

大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架，都是Apache基金会或者其他Java开源社区团体的能人牛人开发的贡献给大家使用的一种开源Java框架。 Java语言是王道就是这个道理，Java的核心代码是开源...[2018/10/18]

一、基础环境设置 1. 准备4台客户机（VMware虚拟机） 系统版本：Centos7.5 节点配置： 192.168.208.128 ——Master 192.168.208.129 ——Slaver-1 192.168.208.130 ——Slaver-2 192.168.20...[2018/10/18]

大数据时代全面来临，大数据、人工智能等技术引领科技创新潮流，获得国家政策大力支持，前景广阔。学习大数据技术的人自然是络绎不绝，但提醒你：学习大数据虽然是一个趋势，但也要注意大数据培训课程的质量，大数据的三个关键技术是一定要掌握的！ 一、Hadoop生态体系 Hadoop?是一个分布式...[2018/10/17]

  一、Hadoop运行模式 　　（1）本地模式（默认模式）： 　　　　　　不需要启用单独进程，直接可以运行，测试和开发时使用。 　　（2）伪分布式模式： 　　　　　　等同于完全分布式，只有一个节点。 　　（3）完全分布式模式： 　　　　　　多个节点一起运行。 　1.1 &...[2018/10/17]

Hadoop集群安装部署 1.介绍 （1）架构模型 （2）使用工具 VMWARE cenos7 Xshell Xftp jdk-8u91-linux-x64.rpm hadoop-2.7.3.tar.gz 2.安装步骤 （1）部署master 创建一台虚拟机 修改ip 这里请参考：V...[2018/10/17]

零基础的同学学习大数据开发不能急于求成，要分阶段分步骤来一步步完成，科多大数据给大家来分享一下大数据的学习路线是什么？小白该怎么学习大数据呢，大概可以分为四步： 大数据学习资料分享群142973723 第一个阶段：了解大数据的基本概念 首先，学习一门课程的时候，要对这门课程有一个简单的了解，比如说...[2018/10/16]

这几年来，不少企业都尝到了使用混合云的甜头。本文由 Kurt Marko 撰写，旨在为刚踏入混合云圈子的公司提供入门指南：“使用混合云也有不少坑，初来乍到的混合云新人可以从前辈们踩过的坑中吸取教训。” Kurt Marko 是一位资深工程师和技术专家，擅长设计和构建数...[2018/10/16]

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由宋超发表于云+社区专栏 本文首先介绍了Hadoop中的ResourceManager中的estimator service的框架与运行流程，然后对其中用到的资源估算算法进行了原理剖析。 一. Resource Estimat...[2018/10/15]

一个合格的数据分析师要有怎样的知识体系？下面九个方面必不可少： 统计相关的数学知识 数学知识是数据分析师的基础知识。 对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。 对于高级数据分析师，统计模型相关知识是必备能力，线性代数(主...[2018/10/15]

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢? 只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里...[2018/10/11]

前言： 　　Mapreduce程序的效率的瓶颈在于两点： 计算机性能： 　　CPU、内存、磁盘健康、网络 I/O操作： 　　数据倾斜 　　map和reduce数量设置不合理 　　map的运行时间太长，导致reduc的等待过久 　　小文件过多 　　大量的补课分块的超大文件 　　spill（溢写）...[2018/10/10]

本章属于总结章节，从矩阵的基础知识讲起，介绍了协方差、椭圆对称矩阵、Dyads、Directional variance（方向差）等知识并从而扩展到了概率论知识例如贝叶斯公式，Bayes Rule for density matrices等，并用简洁有力的语言总结了主成分分析的执行思想。 资源 下...[2018/10/10]

Hadoop常用发行版： Apache Hadoop CDH  Cloudera Distributed Hadoop HDP  Hortonworks Data Platfrom 分布式文件系统（HDFS） HDFS架构 1个master（NameNode/NN）带n个...[2018/10/9]

  软件：CentOS-7    VMware12    SSHSecureShellClient shell工具：Xshell 规划    vm网络配置   01.基础配置 02. h...[2018/10/9]

目前大数据和人工智能作为两大热门方向，不仅仅国家在政策上进行支持，同时国内以百度，阿里为首的知名互联网企业也正在积极的布局大数据和人工智能。 自 2015 年以来，中国的人工智能政策密集出台，这也意味着，在全球竞争的背景下，人工智能已经上升为国家意志。 而且最近首部高中AI教材发布，标...[2018/10/8]

hadoop生态系统 zookeeper负责协调 hbase必须依赖zookeeper flume 日志工具 sqoop 负责 hdfs dbms 数据转换 数据到关系型数据库转换 大数据学习群119599574 hbase简介 hadoop database 是一个高可靠性...[2018/10/8]

现在大数据这么火，各行各业想转行大数据，那么问题来了，该往哪方面发展，哪方面最适合自己？ 首先从字面来了解一下大数据 大数据 （巨量数据集合（IT行业术语）） 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞...[2018/10/8]

目录HDFS是什么HDFS的优缺点HDFS的框架HDFS的读写流程HDFS命令HDFS参数1. HDFS是什么         HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，首先它是一个文件系...[2018/10/8]