這是小D 第一篇博客，有什么錯(cuò)誤還請(qǐng)各位指正。
小D 也是剛接觸Hadoop ，因?yàn)樵谔詫殞?shí)習(xí)，有很多算法要在分布式環(huán)境下實(shí)現(xiàn)，所以這幾天一直在看Hadoop，邊用邊學(xué)。
最近實(shí)現(xiàn)的一個(gè)算法需要reduce輸出很多參數(shù)，每個(gè)參數(shù)的格式不一樣，而且要做為下一次mapreduce的輸入，大家都知道Hadoop的分布式操作系統(tǒng)HFS是以目錄為節(jié)點(diǎn)讀取文件的，每個(gè)reduce輸出一個(gè)分片，所以必須把要輸出的文件根據(jù)類型的不同輸出到不同的目錄中去。因?yàn)樘詫氝€在用 Hadoop 0.19的API ，所以沒辦法直接用MultipleOutputs 的write方法實(shí)現(xiàn)。
write
public
void
write(KEYOUT key,
VALUEOUT value,
String baseOutputPath)
throws
IOException,
InterruptedException
Write key value to an output file name. Gets the record writer from job
's output format. Job'
s output format should be a FileOutputFormat.
Parameters:
key
-
the key
value
-
the value
baseOutputPath
- base-output path to write the record to. Note: Framework will generate unique filename
for
the baseOutputPath
Throws:
IOException
InterruptedException
MultipleOutputs 沒有類似”String baseOutputPath“ 屬性。在0.19的API中MultipleOutputs只可以為不同類型的文件加上不同的前綴。比如先在main 函數(shù)指定
MultipleOutputs.addNamedOutput(datafliter, "rating", TextOutputFormat.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(datafliter, "bu", TextOutputFormat.
class
, Text.
class
, Text.
class
);
然后在reduce里實(shí)例化MultipleOutputs
private
MultipleOutputs mos ;
...
public
void
configure(JobConf conf) {
mos
=
new
MultipleOutputs(conf);
...
}
public
void
close()
throws
IOException {
mos.close();
}
public
void
reduce(Text key, Iterator<Text>
values,
OutputCollector
<Text, Text> output, Reporter reporter)
throws
IOException {
....
OutputCollector
<Text, Text> rateoutput =mos.getCollector("rating"
, reporter);
rateoutput.collect(
new
Text(key),
new
Text(sb.toString()));
OutputCollector
<Text, Text> rateoutput =mos.getCollector("bu"
, reporter);
rateoutput.collect(
new
Text(key),
new
Text(sb.toString()));
}
這樣可以實(shí)現(xiàn)多個(gè)輸出，在文件前加上相應(yīng)的前綴。
但是這樣做很多不同格式的文件還是會(huì)在一個(gè)output目錄下，苦思冥想了半天，查各種資料，問周圍同事，終于發(fā)現(xiàn)MapRedeuce 框架了還有一個(gè)貨是專門干這個(gè)的 那就是MultipleOutputFormat ， 它有兩個(gè)子類MultipleTextOutputFormat 和MultipleSequenceOutputFormat 對(duì)應(yīng)兩種輸出格式。但是想用這貨還挺麻煩，要寫一個(gè)子類繼承他，重寫父類的方法。
以我寫的MultiOutputFormatByFileName 為例。這個(gè)類還可以定制key ，value 鍵值對(duì)的規(guī)則，這里我們不討論這個(gè)，我們用到的是這兩個(gè)方法
protected
String generateLeafFileName(String name)
protected String generateFileNameForKeyValue(Text key, Text value, String name)
第一個(gè)是根據(jù)原文件名生成一個(gè)新文件名，注意這里的新文件名可以包含目錄，也就是可以寫成 XX/XX/XX.dat,這樣就可以生成新的目錄。
第二個(gè)是根據(jù)文件中的鍵值對(duì)來(lái)生成文件名。也可以生成目錄。
package
org.taobao.edp.tcif.titleExtract.util;
import
java.io.File;
import
org.apache.hadoop.io.Text;
import
org.apache.hadoop.mapred.lib.MultipleTextOutputFormat;
public
class
MultiOutputFormatByFileName
extends
MultipleTextOutputFormat<Text, Text>
{
@Override
protected
String generateLeafFileName(String name) {
//
TODO Auto-generated method stub
System.out.println(name);
String[] names
= name.split("-"
);
return
names[0]+File.separator+
name;
}
@Override
protected
String generateFileNameForKeyValue(Text key, Text value,
String name) {
//
TODO Auto-generated method stub
return
super
.generateFileNameForKeyValue(key, value, name);
}
}
OK 我們重寫第一個(gè)方法，之前我們通過MultipleOutput 生成了帶前綴的文件名，現(xiàn)在我們把這個(gè)前綴提取出來(lái)作為目錄名，代碼如上。
然后我們修改 main
MultipleOutputs.addNamedOutput(init,"q", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(init,
"x", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(init,
"bi", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(init,
"bu", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
用自己的MultiOutputFormatByFileName 替換框架的TextOutputFormat
這樣就可以實(shí)現(xiàn)多目錄輸出嘍！
真心希望公司的分布式平臺(tái)能支持Hadoop 0.21的API ， 一個(gè)簡(jiǎn)單的需求折騰了半天。
【Hadoop】利用MultipleOutputs,MultiOutputFormat實(shí)現(xiàn)以不同格式輸出到多個(gè)文件
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
