激情久久久_欧美视频区_成人av免费_不卡视频一二三区_欧美精品在欧美一区二区少妇_欧美一区二区三区的

服務(wù)器之家:專注于服務(wù)器技術(shù)及軟件下載分享
分類導(dǎo)航

PHP教程|ASP.NET教程|JAVA教程|ASP教程|

服務(wù)器之家 - 編程語(yǔ)言 - JAVA教程 - hadoop的hdfs文件操作實(shí)現(xiàn)上傳文件到hdfs

hadoop的hdfs文件操作實(shí)現(xiàn)上傳文件到hdfs

2019-11-14 15:49java教程網(wǎng) JAVA教程

這篇文章主要介紹了使用hadoop的API對(duì)HDFS上的文件訪問(wèn),其中包括上傳文件到HDFS上、從HDFS上下載文件和刪除HDFS上的文件,需要的朋友可以參考下

hdfs文件操作操作示例,包括上傳文件到HDFS上、從HDFS上下載文件和刪除HDFS上的文件,大家參考使用吧
 

復(fù)制代碼代碼如下:


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

 

import java.io.File;
import java.io.IOException;
public class HadoopFile {
    private Configuration conf =null;

    public HadoopFile(){
        conf =new Configuration();
        conf.addResource(new Path("/hadoop/etc/hadoop/core-site.xml"));
    }

    public HadoopFile(Configuration conf){
        this.conf =conf;
    }

    public boolean sendFile(String path,String localfile){
        File file=new File(localfile);
        if (!file.isFile()) {
            System.out.println(file.getName());
            return false;
        }
        try {
            FileSystem localFS =FileSystem.getLocal(conf);
            FileSystem hadoopFS =FileSystem.get(conf);
            Path hadPath=new Path(path);

            FSDataOutputStream fsOut=hadoopFS.create(new Path(path+"/"+file.getName()));
            FSDataInputStream fsIn=localFS.open(new Path(localfile));
            byte[] buf =new byte[1024];
            int readbytes=0;
            while ((readbytes=fsIn.read(buf))>0){
                fsOut.write(buf,0,readbytes);
            }
            fsIn.close();
            fsOut.close();

            FileStatus[] hadfiles= hadoopFS.listStatus(hadPath);
            for(FileStatus fs :hadfiles){
                System.out.println(fs.toString());
            }
            return true;
        } catch (IOException e) {
            e.printStackTrace();
        }
        return false;
    }

    public boolean delFile(String hadfile){
        try {

            FileSystem hadoopFS =FileSystem.get(conf);
            Path hadPath=new Path(hadfile);
            Path p=hadPath.getParent();
            boolean rtnval= hadoopFS.delete(hadPath, true);

            FileStatus[] hadfiles= hadoopFS.listStatus(p);
            for(FileStatus fs :hadfiles){
                System.out.println(fs.toString());
            }
            return rtnval;
        } catch (IOException e) {
            e.printStackTrace();
        }
        return false;
    }


    public boolean downloadFile(String hadfile,String localPath){

        try {
            FileSystem localFS =FileSystem.getLocal(conf);
            FileSystem hadoopFS =FileSystem.get(conf);
            Path hadPath=new Path(hadfile);

            FSDataOutputStream fsOut=localFS.create(new Path(localPath+"/"+hadPath.getName()));
            FSDataInputStream fsIn=hadoopFS.open(hadPath);
            byte[] buf =new byte[1024];
            int readbytes=0;
            while ((readbytes=fsIn.read(buf))>0){
                fsOut.write(buf,0,readbytes);
            }
            fsIn.close();
            fsOut.close();

            return true;
        } catch (IOException e) {
            e.printStackTrace();
        }
        return false;
    }
}

 

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 成人免费毛片网站 | 久久久成人免费视频 | 国产大片中文字幕在线观看 | 热99视频| 久久精品9| 国产又白又嫩又紧又爽18p | 日韩视频不卡 | 国产交换3p国产精品 | 成人免费视频视频在线观看 免费 | 亚洲第一页在线观看 | av免费不卡国产观看 | 久久精品成人免费国产片桃视频 | av电影在线观看网站 | 欧美女孩videos | 国产精品成人一区二区三区吃奶 | asiass极品裸体女pics | 久久久久久久91 | 国产在线精品一区二区 | 欧美综合日韩 | 在线99热 | 日本中文字幕电影在线观看 | 亚洲午夜精选 | 国产亚洲精品久久午夜玫瑰园 | 欧美成人精品不卡视频在线观看 | 久久激情国产 | 黄色网址你懂的 | 成人三级电影网址 | 久久久久久久不卡 | 免费一级欧美在线观看视频 | 午夜视频在线观看免费视频 | 在线免费日韩 | 狠狠撸电影 | 免费日本一区二区 | 中文字幕在线观看视频www | 国产日韩线路一线路二 | 福利四区| 久久精品电影网 | 久久草草影视免费网 | 免费观看一区二区三区视频 | 久久精品视频网站 | 依依成人综合 |