HDFS - 사용량 제한 설정

HDFS 관리자는 디렉토리 별로 파일 개수와 파일 용량을 제한 할 수 있다. 각 설정은 개별 적으로 동작. 하나만 설정 하거나, 동시에 설정할 수 있다.

 

• 파일 개수 제한

디렉토리별로 생성할 수 있는 파일 개수를 제한 할 수 있다. 할당량을 초과하면 파일, 디렉토리를 생성할 수 없다.

 

• 파일 용량 제한

디렉토리별로 용량을 제한할 수 있다. 파일 용량만 포함되고, 디렉토리는 용량에 포함되지 않는다.

 

• 제한 설정 명령

파일 개수 제한, 파일 용량 제한은 hdfs dfsadmin 명령을 이용하여 설정할 수 있다.

# 파일 개수 제한. 최대 Long.MAX_VALUE 만큼 제한 가능 
hdfs dfsadmin -setQuota <N> <directory>...<directory>

# 파일 개수 제한 초기화
hdfs dfsadmin -clrQuota <directory>...<directory>

# 파일 용량 제한. 최대 Long.MAX_VALUE 만큼 제한 가능 
hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory>

# 파일 용량 제한 초기화 
hdfs dfsadmin -clrSpaceQuota <directory>...<directory>

 

 

• 제한 명령 확인

디렉토리 별로 설정된 제한은 hadoop fs -count 명령을 이용하여 확인할 수 있다.

# quota 설정 확인 
$ hadoop fs -count -q -v hdfs:///user/d1
       QUOTA       REM_QUOTA     SPACE_QUOTA REM_SPACE_QUOTA    DIR_COUNT   FILE_COUNT       CONTENT_SIZE PATHNAME
     1000000           27300     10000000000       100000000        98337      1171599              12314 hdfs:///user/d1


# QUOTA, REMAINING_QUOTA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, PATHNAME
$ hadoop fs -count -u hdfs:///user/d1
     1000000          273022 10000000000  80000 hdfs:///user/d1