数工总结 | WebHDFS REST API

配置说明

master webhdfs端口:50070
dataNode webhdfs端口:70075

创建文件并写入数据

1. 创建HDFS文件

    curl -i -X PUT "http://masterHost:masterPort/webhdfs/v1/文件夹?op=CREATE"

2. 获取Location地址并 上传数据

    curl -i -X PUT "http://dataHost:dataPort/webhdfs/v1/文件夹?op=CREATE..."

<!-- more -->

例如:

        wissy@wissy-PC:~$ curl -i -X PUT "http://master:50070/webhdfs/v1/data/wissy/test?op=CREATE"
        HTTP/1.1 307 TEMPORARY_REDIRECT
        Cache-Control: no-cache
        Expires: Mon, 25 Sep 2017 08:54:53 GMT
        Date: Mon, 25 Sep 2017 08:54:53 GMT
        Pragma: no-cache
        Expires: Mon, 25 Sep 2017 08:54:53 GMT
        Date: Mon, 25 Sep 2017 08:54:53 GMT
        Pragma: no-cache
        Content-Type: application/octet-stream
        X-FRAME-OPTIONS: SAMEORIGIN
        Location: http://node7:50075/webhdfs/v1/data/wissy/test?op=CREATE&namenoderpcaddress=nameservice1&overwrite=false
        Content-Length: 0
        Server: Jetty(6.1.26.cloudera.4)
    wissy@wissy-PC:~$ curl -i -X PUT -T c.txt  "http://node7:50075/webhdfs/v1/data/wissy/test?op=CREATE&namenoderpcaddress=nameservice1&overwrite=false"
        HTTP/1.1 100 Continue

        HTTP/1.1 201 Created
        Location: hdfs://nameservice1/data/wys/test
        Content-Length: 0
        Connection: close

追加数据

1. 创建HDFS文件

    curl -i -X PUT "http://masterHost:masterPort/webhdfs/v1/文件夹?op=APPEND"

2. 获取Location地址并 上传数据

    curl -i -X PUT "http://dataHost:dataPort/webhdfs/v1/文件夹?op=APPEND..."

读取数据

    curl -i -L "http://masterHost:masterPort/webhdfs/v1/文件夹?op=OPEN[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]"

创建文件夹

    curl -i -X PUT "http://masterHost:masterPort/文件夹?op=MKDIRS[&permission=<OCTAL>]"

重命名文件/文件夹

    curl -i -X PUT "http://masterHost:masterPort/webhdfs/v1/旧路径?op=RENAME&destination=新路径"

删除文件/文件夹

    curl -i -X DELETE "http://masterHost:masterPort/webhdfs/v1/路径?op=DELETE[&recursive=<true|false>]"

查看文件/文件夹状态

    curl -i  "http://masterHost:masterPort/webhdfs/v1/路径?op=GETFILESTATUS"

列出文件夹下面的文件

    curl -i  "http://masterHost:masterPort/webhdfs/v1/路径?op=LISTSTATUS"