[Part2-공룡책] 11. 2. 분산파일시스템 - Operating System(OS)

Operating System(OS)에 이어서 Part2에는  다음과 같은 순서*로 알아보겠습니다. 

*공룡책 기반

 [프로세스 관리]

 1. 프로세스 

2. 스레드와 병행성 

3. CPU 스케줄링

 [프로세스 동기화] 

4. 프로세스동기화 

5. 동기화 예제 

6. 교착상태

 [메모리 관리] 

7. 메인 메모리 

8. 가상 메모리

[저장장치 관리]

9. 대용량 저장장치 구조

10. 입출력 시스템

[파일시스템]

11. 파일시스템 

12. 파일시스템 구현

 

삼성전자 2024 갤럭시북4 프로 16 코어i7 인텔 13세대 Iris Xe

* 이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받을 수 있습니다.

 

Operating System(OS) Part2 -  11. 2.분산파일시스템

 

1. 분산 파일 시스템 개요

분산 파일 시스템은 여러 컴퓨터에 파일을 분산하여 저장하고, 네트워크를 통해 접근할 수 있게 해주는 파일 시스템입니다. 사용자는 마치 하나의 로컬 파일 시스템을 사용하는 것처럼 분산된 파일에 접근할 수 있으며, 데이터의 위치는 투명하게 관리됩니다.

2. 분산 파일 시스템의 주요 특징

• 투명성: 사용자와 애플리케이션은 파일이 물리적으로 어디에 있는지 신경 쓰지 않고 사용할 수 있습니다.
• 확장성: 시스템의 성능 저하 없이 새로운 저장 장치나 컴퓨터를 추가할 수 있습니다.
• 신뢰성: 데이터 중복 저장 및 복제본 관리로 고장 시에도 데이터 접근이 가능합니다.
• 고가용성: 여러 노드에 데이터를 분산 저장하여 특정 노드의 장애 시에도 데이터를 사용할 수 있습니다.
• 일관성: 여러 노드 간의 데이터 일관성을 유지하는 메커니즘을 제공합니다.

3. 분산 파일 시스템 아키텍처

분산 파일 시스템의 아키텍처는 일반적으로 다음과 같은 구성 요소로 이루어집니다:

• 클라이언트(Client): 파일 시스템에 접근하는 사용자 또는 애플리케이션입니다.
• 메타데이터 서버(Metadata Server): 파일 및 디렉토리의 메타데이터(위치, 접근 권한 등)를 관리합니다.
• 데이터 서버(Data Server): 실제 파일 데이터를 저장하고 관리합니다.
• 네트워크(Network): 클라이언트와 서버 간의 통신을 담당합니다.

예시 아키텍처

1. Centralized Metadata Server: 메타데이터 서버가 중앙에서 메타데이터를 관리하며, 데이터 서버가 파일 데이터를 분산 저장합니다.
2. Decentralized Metadata Server: 메타데이터 서버도 분산되어 여러 노드에서 메타데이터를 관리합니다.

4. 분산 파일 시스템의 장단점

장점

• 확장성: 많은 수의 노드를 추가하여 용량과 성능을 확장할 수 있습니다.
• 신뢰성 및 고가용성: 데이터 복제를 통해 장애 발생 시에도 데이터 접근이 가능합니다.
• 성능 향상: 여러 노드에 분산된 데이터를 병렬로 접근하여 성능을 향상시킬 수 있습니다.

단점

• 복잡성 증가: 시스템 설계 및 관리가 복잡해질 수 있습니다.
• 일관성 유지 문제: 분산된 환경에서 데이터 일관성을 유지하는 것이 어려울 수 있습니다.
• 네트워크 의존성: 네트워크 성능에 따라 전체 시스템 성능이 영향을 받을 수 있습니다.

5. 대표적인 분산 파일 시스템 예시

• Hadoop Distributed File System (HDFS): 대용량 데이터 처리를 위한 하둡 생태계의 핵심 구성 요소입니다. 데이터는 블록 단위로 분할되어 여러 노드에 분산 저장됩니다.
• Google File System (GFS): 구글에서 개발한 파일 시스템으로, 대규모 데이터 처리를 위해 설계되었습니다. 고장 감지 및 복구 메커니즘이 포함되어 있습니다.
• Ceph: 고가용성, 확장성, 성능을 위해 설계된 분산 파일 시스템입니다. 객체 저장, 블록 저장, 파일 저장을 모두 지원합니다.
• Amazon S3: 아마존 웹 서비스(AWS)에서 제공하는 객체 스토리지 서비스로, 인터넷을 통해 대규모 데이터를 저장하고 접근할 수 있습니다.