一、目录文件类1、ls 查看根目录内容-R 递归列出所有子目录文件 -h 人性化单位展示大小hadoop fs -ls /2、mkdir 创建目录-p 递归创建多级目录hadoop fs -mkdir /test3、rm 删除文件或目录hadoop fs -rm /test4、rmkdir 删除空目录hadoop fs -rmkdir /test5、count统计目录下 文件数 / 目录数 / 总占用字节hadoop fs -count /test6、du查看目录实际数据占用大小不含副本-h 人性化单位展示大小hadoop fs -du -h /test7、touch创建空文件hadoop fs -touch /test/a.txt8、cat 查看 HDFS 中的非压缩文件的内容hadoop fs -cat /test/a.txt9、text 查看文件内容既可以查看非压缩的文本文件内容也能查看压缩后的文本文件内容hadoop fs -text /test/a.txt10、tail查看文件末尾实时日志-f 选项实时显示追加的内容hadoop fs -tail /test/a.txt11、checksum获取文件 CRC 校验值校验文件完整性hadoop fs -checksum /test/a.txt12、expunge清空回收站释放存储空间hadoop fs -expunge13、cpHDFS 内部复制文件 / 目录hadoop fs -cp /test/a.txt /aa14、mvHDFS 内移动、重命名文件 / 目录hadoop fs -mv /data/data.local /testhadoop fs -mv /old_name /new_name15、appendToFile本地文件内容追加写入 HDFS 已有文件hadoop fs -appendToFile data.txt /data/data.txt16、getmerge合并 HDFS 多个文件下载为本地单个文件hadoop fs -getmerge /data/a.txt /data/b.txt /home/hadoop/input/data.local17、copyToLocalHDFS 文件复制到本地hadoop fs -copyToLocal /logs/app.log /test/local18、copyFromLocal 本地复制文件到 HDFShadoop fs -copyFromLocal info.json /user19、getHDFS 文件下载到本地hadoop fs -get /hdfs/demo.txt ./local_dir/20、moveFromLocal 移动本地文件至 HDFS本地删除源文件hadoop fs -moveFromLocal data.csv /dwd21、put 本地文件上传 HDFShadoop fs -put local_file.csv /hdfs/tmp/22、setfattr 给文件自定义扩展标签属性hadoop fs -setfattr -n tag -v 202606 /data/orc_file23、getfattr 读取文件自定义扩展属性hadoop fs -getfattr -n tag /data/orc_file24、test 判断文件是否存在、是否目录、是否为空-d如果路径为目录则返回0-e如果路径存在则返回0-f如果路径为文件则返回0-s如果路径中的文件大于0字节则返回0-w如果路径存在并且具有写权限则返回0-r如果路径存在并且具有读权限则返回0-z如果路径中的文件为0字节则返回0否则返回1hadoop fs -test -e /data/test.txt25、stat 查看文件完整元数据时间、块、副本、权限hadoop fs -stat /user/hadoop/demo.txt26、setfacl 设置细粒度 ACL 权限hadoop fs -setfacl -m user:test:r-x /data27、getfacl 查看已配置 ACL 权限hadoop fs -getfacl /data28、removeAcl 清除全部自定义 ACL 权限hadoop fs -removeAcl /data29、truncate 截断 HDFS 文件保留指定长度hadoop fs -truncate 1024 /tmp/cache.log30、find 全局检索匹配名称的文件 / 目录hadoop fs -find / -name *.orc31、help 查看 Hadoop 具体命令的帮助信息hadoop fs -help cat查询帮助文档hadoop fs或者hadoop fs -help32、df 查看 HDFS 中目录空间的使用情况hadoop fs -df -h /data33、head 查看文件前段hadoop fs -head /data/data.txt34、setrep 设置 HDFS 上的文件的目标副本数量hadoop fs -setrep 5 /data/data.txt35、usage 列出指定命令的使用格式hadoop fs -usage cat二、快照管理1、createSnapshot给目录生成快照备份数据恢复用设置目录允许快照hdfs dfsadmin -allowSnapshot /test创建快照hadoop fs -createSnapshot /test t12、deleteSnapshot删除目录已创建的快照hadoop fs -deleteSnapshot /test t13、renameSnapshot修改已有快照名称hadoop fs -renameSnapshot /test t1 t24、diff 对比目录当前数据与快照差异hadoop fs -diff /ods t1三、权限 属主管理1、chmod修改文件 / 目录读写执行权限hadoop fs -chmod 755 /test2、chown修改文件所属用户与用户组hadoop fs -chown hive:hive /warehouse3、chgrp仅修改文件所属用户组hadoop fs -chgrp hadoop /test/a.txt
HDFS常用指令
一、目录文件类1、ls 查看根目录内容-R 递归列出所有子目录文件 -h 人性化单位展示大小hadoop fs -ls /2、mkdir 创建目录-p 递归创建多级目录hadoop fs -mkdir /test3、rm 删除文件或目录hadoop fs -rm /test4、rmkdir 删除空目录hadoop fs -rmkdir /test5、count统计目录下 文件数 / 目录数 / 总占用字节hadoop fs -count /test6、du查看目录实际数据占用大小不含副本-h 人性化单位展示大小hadoop fs -du -h /test7、touch创建空文件hadoop fs -touch /test/a.txt8、cat 查看 HDFS 中的非压缩文件的内容hadoop fs -cat /test/a.txt9、text 查看文件内容既可以查看非压缩的文本文件内容也能查看压缩后的文本文件内容hadoop fs -text /test/a.txt10、tail查看文件末尾实时日志-f 选项实时显示追加的内容hadoop fs -tail /test/a.txt11、checksum获取文件 CRC 校验值校验文件完整性hadoop fs -checksum /test/a.txt12、expunge清空回收站释放存储空间hadoop fs -expunge13、cpHDFS 内部复制文件 / 目录hadoop fs -cp /test/a.txt /aa14、mvHDFS 内移动、重命名文件 / 目录hadoop fs -mv /data/data.local /testhadoop fs -mv /old_name /new_name15、appendToFile本地文件内容追加写入 HDFS 已有文件hadoop fs -appendToFile data.txt /data/data.txt16、getmerge合并 HDFS 多个文件下载为本地单个文件hadoop fs -getmerge /data/a.txt /data/b.txt /home/hadoop/input/data.local17、copyToLocalHDFS 文件复制到本地hadoop fs -copyToLocal /logs/app.log /test/local18、copyFromLocal 本地复制文件到 HDFShadoop fs -copyFromLocal info.json /user19、getHDFS 文件下载到本地hadoop fs -get /hdfs/demo.txt ./local_dir/20、moveFromLocal 移动本地文件至 HDFS本地删除源文件hadoop fs -moveFromLocal data.csv /dwd21、put 本地文件上传 HDFShadoop fs -put local_file.csv /hdfs/tmp/22、setfattr 给文件自定义扩展标签属性hadoop fs -setfattr -n tag -v 202606 /data/orc_file23、getfattr 读取文件自定义扩展属性hadoop fs -getfattr -n tag /data/orc_file24、test 判断文件是否存在、是否目录、是否为空-d如果路径为目录则返回0-e如果路径存在则返回0-f如果路径为文件则返回0-s如果路径中的文件大于0字节则返回0-w如果路径存在并且具有写权限则返回0-r如果路径存在并且具有读权限则返回0-z如果路径中的文件为0字节则返回0否则返回1hadoop fs -test -e /data/test.txt25、stat 查看文件完整元数据时间、块、副本、权限hadoop fs -stat /user/hadoop/demo.txt26、setfacl 设置细粒度 ACL 权限hadoop fs -setfacl -m user:test:r-x /data27、getfacl 查看已配置 ACL 权限hadoop fs -getfacl /data28、removeAcl 清除全部自定义 ACL 权限hadoop fs -removeAcl /data29、truncate 截断 HDFS 文件保留指定长度hadoop fs -truncate 1024 /tmp/cache.log30、find 全局检索匹配名称的文件 / 目录hadoop fs -find / -name *.orc31、help 查看 Hadoop 具体命令的帮助信息hadoop fs -help cat查询帮助文档hadoop fs或者hadoop fs -help32、df 查看 HDFS 中目录空间的使用情况hadoop fs -df -h /data33、head 查看文件前段hadoop fs -head /data/data.txt34、setrep 设置 HDFS 上的文件的目标副本数量hadoop fs -setrep 5 /data/data.txt35、usage 列出指定命令的使用格式hadoop fs -usage cat二、快照管理1、createSnapshot给目录生成快照备份数据恢复用设置目录允许快照hdfs dfsadmin -allowSnapshot /test创建快照hadoop fs -createSnapshot /test t12、deleteSnapshot删除目录已创建的快照hadoop fs -deleteSnapshot /test t13、renameSnapshot修改已有快照名称hadoop fs -renameSnapshot /test t1 t24、diff 对比目录当前数据与快照差异hadoop fs -diff /ods t1三、权限 属主管理1、chmod修改文件 / 目录读写执行权限hadoop fs -chmod 755 /test2、chown修改文件所属用户与用户组hadoop fs -chown hive:hive /warehouse3、chgrp仅修改文件所属用户组hadoop fs -chgrp hadoop /test/a.txt
