Hadoop body { margin: 0 } #content-info { width: auto; margin: 0 auto; text-align: center } #author-info { white-space: nowra...[2021/12/24]

目录【实验作业】简单流量统计 【实验作业】索引倒排输出行号 实验题目： MapReduce：编程 实验内容： 本实验利用 Hadoop 提供的 Java API 进行编程进行 MapReduce 编程。 实验目标： 掌握MapReduce编程。 ...[2021/12/20]

一.序列化简介 什么是序列化呢？     序列化：对象———》字节序列 反序列化：字节序列——》对象 备注：对象在内存(RAM)当中 字节序列：可以在磁盘（ROM）当中，也可以在网络当中进行传输 序列化的根本缘故：将对象从RAM里的数据 转化成ROM...[2021/1/25]

MapReduce原理 Map阶段 文件在被读取（调用read()）的是用Inputformat方法读入的。在这里读入一行，返回一个key-vlaue（K,V）对，key是行号的偏移量，value的值是这一行的内容。 在上述过程中，在第4步调用map()方法后，将以上内容真正转换...[2021/1/25]

一.MapReduce流程介绍 假设我们有一个任务：用于统计一个文件当中一个单词出现的总次数,查询结果保存到两个文件里，一个装载a-p单词出现的次数，一个文件装载q-z单词出现的个数。下面是这个任务使用mapreduce实现的具体流程：      ...[2021/1/11]

在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误共有两种解决方案 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsF...[2020/12/8]

写MapReduce  Dome 案例时i，报出 java.io.EOFException  java.lang.Exception: java.io.EOFException at org.apache.hadoop.mapred.LocalJobRunner$...[2020/12/8]

先改pom.xml： <project xmlns="http: maven.apache.org/POM/4.0.0" xmlns:xsi="http: www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...[2019/11/4]

用过各种社交平台(如QQ、微博、朋友网等等)的小伙伴应该都知道有一个叫 "可能认识" 或者 "好友推荐" 的功能(如下图)。它的算法主要是根据你们之间的共同好友数进行推荐，当然也有其他如爱好、特长等等。共同好友的数量越多，表明你们可能认识，系统便...[2019/10/10]

MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还...[2019/10/9]