개략적인 규모 추정

개략적인 규모 추정은 보편적으로 통용되는 성능 수치상에서 사고 실험을 행하여 추정치를 계산하는 행위로서, 어떤 설계가 요구사항에 부합할 것인지 보기 위한 것이다.

개략적 규모 추정을 효과적으로 해 내려면 규모 확장성을 표현하는 데 필요한 기본기에 능숙해야 한다. 특히 2의 제곱수, 응답지연(latency) 값, 고가용성 에 관계된 수치들을 기본적으로 이해하고 있어야 한다.

 

 

2의 제곱수

분산 시스템에서 다루는 데이터의 양은 엄청나게 커질 수 있으나 그 계산법은 기본을 크게 벗어나지 않음. 제대로 된 계산 결과를 얻으려면 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 우선 알아야 한다.

최소 단위는 1바이트. 8비트로 구성. ASCII 문자 하나가 차지하는 메모리 크기가 1바이트이다.

 

2의 x제곱	근사치	이름	축약형
10	1천	1킬로바이트	1KB
20	1백만	1메가바이트	1MB
30	10억	1기가바이트	1GB
40	1조	1테라바이트	1TB
50	1000조	1페타바이트	1PB

 

 

 

모든 프로그래머가 알아야 하는 응답지연 값

구글의 제프 딘이 2010에 공개한 응답지연 값들은 더 빠른 컴퓨터가 등장하면서 더 이상 유효하지 않게 되었지만, 아직도 이 수치들은 컴퓨터 연산들의 처리 속도가 어느정도인지 짐작할 수 있게 해준다.

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류	5ns
L2 캐시 참조	7ns
뮤텍스 락/언락	100ns
주 메모리 참조	100ns
Zippy로 1KB 압축	10,000ns = 10us
1 Gbps 네크워트로 2KB 전송	20,000ns = 20us
메모리에서 1MB 순차적으로 read	250,000ns = 250us
같은 데이터 센터 내에서의 메시지 왕복 지연시간	500,000ns = 500us
디스크 탐색(seek)	10,000,000ns = 10ms
네트워크에서 1MB 순차적으로 read	10,000,000ns = 10ms
디스크에서 1MB 순차적으로 read	30,000,000ns = 30ms
한 패킷의 CA(캘리포니아로부터) 네덜란드까지의 왕복 시간	150,000,000ns = 150ms

ns(나노초), us(마이크로초), ms(밀리초)

 

아래 그림은 위 수치들을 2020년 기준으로 시각적으로 수치화한 것이다.

https://gist.github.com/hellerbarde/2843375

 

위 수치들을 분석하면 아래와 같은 결론이 나온다.

 

1. 메모리는 빠르지만 디스크는 아직도 느리다.

2. 디스크 탐색(seek)은 가능한 피하라

3. 단순한 압축 알고리즘은 빠르다.

4. 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.

5. 데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고 받는 데는 시간이 걸린다.

 

 

가용성에 관계된 수치들

고가용성은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어다. 고가용성은 퍼센트로 표현한다.

100%는 시스템이 단 한 번도 중단된 적이 없음을 의미한다. 대부분의 서비스는 99%에서 100% 사이의 값을 갖는다.

 

SLA(Service Level Agreement)는 서비스 사업자가 보편적으로 사용하는 용어로 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다. 이 합의에는 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술되어 있다.

가용시간은 관습적으로 9를 많이 사용하며 9가 많을수록 좋다. 아래 표는 9의 개수와 시스템 장애 시간(downtime)사이의 관계다.

가용률	하루당 장애시간	주당 장애시간	개월당 장애시간	연간 장애시간
99%	14.40분	1.68시간	7.31시간	3.65일
99.9%	1.44분	10.08분	43.83분	8.77시간
99.99%	8.64초	1.01분	4.38분	52.60분
99.999%	864.00밀리초	6.05초	26.30초	5.26분
99.9999%	86.40밀리초	604.80밀리초	2.63초	31.56초

 

 

예제 : 트위터 QPS와 저장소 요구량 추정

 

가정

• 월간 능동 사용자(MAU)는 3억 명이다.

• 50%의 사용자가 트위터를 매일 사용한다.

• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.

• 미디어를 포함하는 트윗은 10%정도

• 데이터는 5년간 보관

 

추정

QPS(Query Per Second) 추정치

• 일간 능동 사용자 비율 (DAU) = 3억 x 50% = 1.5억(150billion)

• QPS = 1.5억 x 2트윗/24시간/3600초 = 약 3500

• 최대 QPS(Peek QPS) = 2 x QPS = 약 7000

 

미디어 저장을 위한 저장소 요구량

• 평균 트윗 크기

 - tweet_id: 64바이트

 - 텍스트: 140바이트

 - 미디어: 1MB

• 미디어 저장소 요구량 : 1.5억 x 2 x 10% x 1MB = 30TB / 일

• 5년간 미디어를 보관하기 위한 저장소 요구량 : 30TB x 365 x 5 = 약 55PB

 

 

 

 

 

 

모든 내용은 가상 면접 사례로 배우는 대규모 시스템 설계 기초를 참고하였습니다.