C/C++教程

MapReduce 输入&输出数据组件

本文主要是介绍MapReduce 输入&输出数据组件,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

MapReduce 输入数据组件

MapReduce 提供的全部输入数据组件(Map 读入文件)都继承于 FileInputFormat 抽象类

MapReduce 内置常用输入数据组件
  • TextInputFormat(默认)

    TextInputFormat 读取文件得到 InputSplit,然后 LineRecordReader 通过 InputSplit 得到 Key 和 Value。Key 是当前行的偏移量,而 Value 是当前行的内容

  • NLineInputFormat

    NLineInputFormat 是将 N 行文本内容作为一个切片。覆写了父类的 getSplits()。LineRecordReader 通过 InputSplit 得到 Key 和 Value。Key 是当前N行的偏移量;Value 是当前 N 行的内容

    //设置输入组件为 NLineInputFormat
    job.setInputFormatClass(NLineInputFormat. class); 
    //配置 N 行数据为一个切片 <Key ,Value>
    NLineInputFormat.setNumLinesPerSplit(job, 2);
    
  • KeyValueTextInputFormat

    KeyValueTextInputFormat 的切片算法使用的是父类 FileInputFormat 的。使用 KeyValueLineRecordReader 获取数据的 Key 和 Value。

    用于纯文本文件的 InputFormat。文件被分成几行。换行或回车都可用来表示行结束。每一行通过分隔符字节划分为键和值部分。如果不存在这样的字节,键将是整个行,值将为空。分隔符字节可以在配置文件中的属性名称

    configuration conf = job.getConfiguration();
    //默认是制表符(\t)
    conf.set("mapreduce.input.keyvaluelinerec ordreader.key.value.separator",",");         
    job.setInputFormatClass(KeyValueTextInputFormat.class);
    
  • CombineTextInputFormat

    框架默认的 TextInputFormat 切片机制是对任务按文件规划切片,不管文件多小,都会是一个单独的切片,都会交给一个 MapTask,这样如果有大量小文件,就会产生大量的 MapTask,处理效率极其低下。

    如果有小文件存在,可以使用 CombineTextInputFormat。CombineTextInputFormat 通过设置 MaxInputSplitSize
    可以控制 split 的数量,也就是可以将多个小文件做成一个 split,减少 MapTask 的数量。

    切片规则

    • 文件大小与 MaxInputSplitSize 进行比较

    • 文件大小 < MaxInputSplitSize,单独成为一个文件块

    • 2 * MaxInputSplitSize > 文件大小 > MaxInputSplitSize,文件平均切分为两个文件块

    • 文件大小 > 2 * MaxInputSplitSize,先按照 MaxInputSplitSize 划分一个文件块,剩余部分按照之前规则划分

    • 最终将划分的文件块合并为文件切片,一个文件切片则对应一个 MapTask 任务

    //设置输入数据组件
    job.setInputFormatClass(CombineTextInputFormat.class);
    
    //设置 MaxInputSplitSize 4M 
    CombineTextInputFormat.setMaxInputSplitSize(job,4 * 1024 * 1024);
    

以上输入数据组件都是按行读取数据,每一行会形成一个 <K,V> 对,调用一次 map() 方法

自定义输入数据组件

自定义输入数据组件,需要继承 FileInputFormat 抽象类并重写 RecordReader() 方法(实现具体自定义读的逻辑)

MapReduce 输出数据组件

MapReduce 提供的全部输出数据组件(Reduce 写出文件)都继承于 FileoutputFormat 抽象类

MapReduce 内置常用输出数据组件
  • TextOutputFormat

    Reducer 的结果直接以字符串格式按行写出到文件中

  • SequenceFileOutputFormat

    Reducer 的结果按照 KV 键值对格式写出的序列化文件

    SequenceFileOutputFormat 中写入的是 Reducer 输出的 KV 键值对且进行了序列化,因此更方便进行压缩;此外,一个 MR 流程得到的结果如果是 SequenceFileOutputFormat 格式写出,那么该结果能够很便利地作为下一个 MR 流程的输入,因为已经序列化封装好了 KV 键值对,作为输入时只需要进行反序列化读入即可

自定义输出数据组件

自定义输出数据组件,需要继承 FileOutputFormat 抽象类并重写 RecordWriter() 方法(实现具体自定义写的逻辑)

这篇关于MapReduce 输入&输出数据组件的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!