Hadoop - HDFS 페더레이션

HDFS 페더레이션?

네임 노드의 확장성 문제를 해결하기 위한 네임노드 연합체(2.x 릴리즈 버전부터 지원)

 

여러대의 네임노드가 파일 시스템의 네임스페이스를 일부 나누어 관리하는 방식이다.

ex) A네임노드는 /user/* 디렉토리의 모든 파일관리.

      B네임노드는 /share/* 디렉토리의 모든 파일관리.

 

HDFS 페더레이션을 적용하면 각 네임노드는 네임스페이스 볼륨과 블록 풀을 관리한다.

네임스페이스 볼륨 : 네임스페이스의 메타데이터를 구성. 서로 독립되어 있다. 네임노드끼리 서로 통신할 필요가 없다. 특정 네임노드가 장애가 나도 가용성에 영향을 주지않는다.

블록 풀 : 네임스페이스에 포함된 파일의 전체 블록을 보관. 

 

모든 데이터노드는 클러스터의 각 네임노드마다 등록되어 있고, 여러 블록 풀로부터 블록을 저장.

 

환경 설정에서 ViewFileSystem과 viewfs://URI를 사용하여 관리할 수 있다.