Page 21 -

1
그림 1-2 스파크의 주요 컴포넌트와 호환 스토리지, 이들 간의 다양한 런타임 연동 옵션
झ౟ܻ߁ ؘ੉ఠ ࣗझীח झ౵௼ झ౟ܻ߁਷ झ౟ܻ߁ झ౵௼ झ౟ܻ߁਷ ݠन ۞׬ ݽ؛җ
஠೐஠ ೒ۢ ౟ਤఠ )%'4 ؘ੉ఠী (SBQI9 ӝמਸ झ౵௼ 42-ਸ ࢎਊ೧ झ౟ܻ߁
;FSP.2 ١੉ ੓׮ ੸ਊೡ ࣻ ੓׮ ؘ੉ఠܳ ࠙ࢳೡ ࣻ ੓׮ 아파치 스파크 소개

झ౵௼ झ౟ܻ߁ झ౵௼ .- ߂ .-MJC
झ౟ܻ߁ ؘ੉ఠ ࣗझ
DStream ݠन ۞׬ ݽ؛ झ౵௼ .-MJC ݽ؛਷
ؘ੉ఠ ఋੑਵ۽ 3%%ܳ
ࢎਊೞח ߈ݶ झ౵௼
.-਷ %BUB'SBNFਸ
ࢎਊೠ׮ ف ۄ੉࠳۞ܻ
ݽف झ౵௼ ௏যܳ
ࢎਊೠ׮

झ౵௼ (SBQI9 झ౵௼ ௏য झ౵௼ 42-

Ӓې೐ 3%% RDD DataFrame
ؘ੉ఠ ࣗझীח ೞ੉࠳
+40/ ҙ҅ഋ
ؘ੉ఠ߬੉झ /P42-
ؘ੉ఠ߬੉झ 1BSRVFU
౵ੌ੉ ੓׮

झ౵௼ झ౟ܻ߁਷
%4USFBNਸ ࢎਊ೧ ౵ੌ दझమ ؘ੉ఠ ࣗझ
઱ӝ੸ਵ۽ 3%%ܳ
ࢤࢿೠ׮

झ౵௼ (SBQI9ח ղࠗ੸ਵ۽ ౵ੌ दझమীח )%'4 (MVTUFS'4 झ౵௼ 42-਷ %BUB'SBNFী ੸ਊػ
झ౵௼ ௏যܳ ࢎਊೠ׮ ই݃ઓ 4 ١੉ ੓׮ ো࢑ਸ 3%% ো࢑ਵ۽ ߸ജೠ׮

스파크 코어는 HDFS, GlusterFS, 아마존 S3 등 다양한 파일 시스템에 접근할 수 있다. 또 공유
변수(broadcast variable)와 누적 변수(accumulator)를 사용해 컴퓨팅 노드 간에 정보를 공유할 수 있
다. 이외에도 스파크 코어에는 네트워킹, 보안, 스케줄링 및 데이터 셔플링(shuffling) 등 기본 기능

이 구현되어 있다.

037

spark_08.indd 37 2018-05-08 오후 6:26:11