Amazon EMR์€ ๊ด€๋ฆฌํ˜• ํ•˜๋‘ก ํ”„๋ ˆ์ž„์›Œํฌ๋กœ์„œ ๋™์ ์œผ๋กœ ํ™•์žฅ ๊ฐ€๋Šฅํ•œ Amazon EC2 ์ธ์Šคํ„ด์Šค ์ „์ฒด์—์„œ ๋Œ€๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์‰ฝ๊ณ  ๋น ๋ฅด๋ฉฐ ๋น„์šฉ ํšจ์œจ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, Amazon EMR์—์„œ Apache Spark, HBase, Presto ๋ฐ Flink์™€ ๊ฐ™์ด ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” ๋ถ„์‚ฐ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์‹คํ–‰ํ•˜๊ณ , Amazon S3 ๋ฐ Amazon DynamoDB์™€ ๊ฐ™์€ ๋‹ค๋ฅธ AWS ๋ฐ์ดํ„ฐ ์Šคํ† ์–ด์˜ ๋ฐ์ดํ„ฐ์™€ ์ƒํ˜ธ ์ž‘์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Amazon EMR์€ ๋กœ๊ทธ ๋ถ„์„, ์›น ์ธ๋ฑ์‹ฑ, ๋ฐ์ดํ„ฐ ๋ณ€ํ™˜(ETL), ๊ธฐ๊ณ„ ํ•™์Šต, ๊ธˆ์œต ๋ถ„์„, ๊ณผํ•™์  ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฐ ์ƒ๋ฌผ ์ •๋ณดํ•™์„ ๋น„๋กฏํ•˜์—ฌ ๊ด‘๋ฒ”์œ„ํ•œ ๋น… ๋ฐ์ดํ„ฐ ์‚ฌ์šฉ ์‚ฌ๋ก€๋ฅผ ์•ˆ์ „ํ•˜๊ณ  ์•ˆ์ •์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

amazon_emr_thumb_resize_prod_pg_378x171
6:03
Intro to Amazon EMR

ํ™•๋Œ€ํ•˜๋ ค๋ฉด ํด๋ฆญ

Amazon EMR ๋ฆด๋ฆฌ์Šค ์†๋„

Amazon EMR ๋ฆด๋ฆฌ์Šค ์†๋„

Amazon EMR์˜ ๋ฒ„์ „์ด ์ง€์ •๋œ ๋ฆด๋ฆฌ์Šค์—์„œ๋Š” Apache ํ•˜๋‘ก ๋ฐ Spark ์—์ฝ”์‹œ์Šคํ…œ์˜ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๋น„๋กฏํ•˜์—ฌ EMR ํด๋Ÿฌ์Šคํ„ฐ์˜ ์ตœ์‹  ์˜คํ”ˆ ์†Œ์Šค ํ”„๋กœ์ ํŠธ๋ฅผ ์†์‰ฝ๊ฒŒ ์„ ํƒํ•˜์—ฌ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Amazon EMR์—์„œ ์†Œํ”„ํŠธ์›จ์–ด๋ฅผ ์„ค์น˜ํ•˜๊ณ  ๊ตฌ์„ฑํ•˜๋ฏ€๋กœ ์‚ฌ์šฉ์ž๋Š” ์ธํ”„๋ผ์™€ ๊ด€๋ฆฌ ์ž‘์—…์— ๋Œ€ํ•œ ๊ฑฑ์ • ์—†์ด ๋ฐ์ดํ„ฐ ๊ฐ€์น˜๋ฅผ ๋†’์ด๋Š” ๋ฐ ๋” ๋งŽ์€ ์‹œ๊ฐ„์„ ํˆฌ์žํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


์‚ฌ์šฉ ํŽธ์˜์„ฑ

์‚ฌ์šฉ ํŽธ์˜์„ฑ

Amazon EMR ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋ช‡ ๋ถ„ ๋งŒ์— ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋…ธ๋“œ ํ”„๋กœ๋น„์ €๋‹, ํด๋Ÿฌ์Šคํ„ฐ ์„ค์ •, ํ•˜๋‘ก ๊ตฌ์„ฑ ๋˜๋Š” ํด๋Ÿฌ์Šคํ„ฐ ํŠœ๋‹์€ ๊ฑฑ์ •ํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. Amazon EMR์ด ์ด๋Ÿฌํ•œ ์ž‘์—…์„ ๋ชจ๋‘ ์ฒ˜๋ฆฌํ•ด์ฃผ๋ฏ€๋กœ ๋ถ„์„์—๋งŒ ์ง‘์ค‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

์ €๋ ดํ•œ ๋น„์šฉ

์ €๋ ดํ•œ ๋น„์šฉ

Amazon EMR ์š”๊ธˆ์€ ๊ฐ„๋‹จํ•˜๊ณ  ์˜ˆ์ธก ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉํ•œ ๋ชจ๋“  ์‹œ๊ฐ„(์ดˆ)์— ๋Œ€ํ•ด ์ดˆ๋‹น ์š”๊ธˆ์„ ์ง€๋ถˆํ•˜๋ฉฐ ์ตœ์†Œ ์š”๊ธˆ์€ 1๋ถ„์ž…๋‹ˆ๋‹ค. ๋…ธ๋“œ 10๊ฐœ์˜ ํ•˜๋‘ก ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‹œ๊ฐ„๋‹น 0.15 USD๋ผ๋Š” ์ €๋ ดํ•œ ๋น„์šฉ์œผ๋กœ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Amazon EMR์€ ๊ธฐ๋ณธ์ ์œผ๋กœ Amazon EC2 ์ŠคํŒŸ ์ธ์Šคํ„ด์Šค ๋ฐ ์˜ˆ์•ฝ ์ธ์Šคํ„ด์Šค๋ฅผ ์ง€์›ํ•˜๋ฏ€๋กœ ํ•ด๋‹น ์ธ์Šคํ„ด์Šค ๋น„์šฉ์„ 50~80%๊นŒ์ง€ ์ ˆ๊ฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํƒ„๋ ฅ์„ฑ

ํƒ„๋ ฅ์„ฑ

Amazon EMR์„ ์‚ฌ์šฉํ•˜๋ฉด ์ปดํ“จํŒ… ์ธ์Šคํ„ด์Šค๋ฅผ ํ•œ ๊ฐœ, ์ˆ˜๋ฐฑ ๊ฐœ ๋˜๋Š” ์ˆ˜์ฒœ ๊ฐœ๊นŒ์ง€ ํ”„๋กœ๋น„์ €๋‹ํ•˜์—ฌ ์›ํ•˜๋Š” ๊ทœ๋ชจ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ˆ˜๋™์œผ๋กœ ๋˜๋Š” Auto Scaling์„ ํ†ตํ•ด ์ธ์Šคํ„ด์Šค ์ˆ˜๋ฅผ ์‰ฝ๊ฒŒ ๋Š˜๋ฆฌ๊ฑฐ๋‚˜ ์ค„์ผ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์‚ฌ์šฉํ•œ ๋งŒํผ๋งŒ ๋น„์šฉ์„ ์ง€๋ถˆํ•ฉ๋‹ˆ๋‹ค.

์•ˆ์ •์„ฑ

์•ˆ์ •์„ฑ

ํด๋Ÿฌ์Šคํ„ฐ ํŠœ๋‹๊ณผ ๋ชจ๋‹ˆํ„ฐ๋ง์— ์†Œ๋น„๋˜๋Š” ์‹œ๊ฐ„์„ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Amazon EMR์€ ํด๋ผ์šฐ๋“œ์— ์ ํ•ฉํ•˜๊ฒŒ ํ•˜๋‘ก์„ ํŠœ๋‹ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜์—ฌ ์‹คํŒจํ•œ ์ž‘์—…์„ ๋‹ค์‹œ ์‹œ๋„ํ•˜๊ณ  ์„ฑ๋Šฅ์ด ๋–จ์–ด์ง€๋Š” ์ธ์Šคํ„ด์Šค๋ฅผ ์ž๋™์œผ๋กœ ๊ต์ฒดํ•ฉ๋‹ˆ๋‹ค.

 

๋ณด์•ˆ

๋ณด์•ˆ

Amazon EMR์ด ์ธ์Šคํ„ด์Šค์— ๋Œ€ํ•œ ๋„คํŠธ์›Œํฌ ์•ก์„ธ์Šค๋ฅผ ์ œ์–ดํ•˜๋Š” Amazon EC2 ๋ฐฉํ™”๋ฒฝ ์„ค์ •์„ ์ž๋™์œผ๋กœ ๊ตฌ์„ฑํ•ด์ฃผ๊ธฐ ๋•Œ๋ฌธ์— ์‚ฌ์šฉ์ž๋Š” ์ง์ ‘ ์ •์˜ํ•˜๋Š” ๋…ผ๋ฆฌ์ ์œผ๋กœ ๊ฒฉ๋ฆฌ๋œ ๋„คํŠธ์›Œํฌ์ธ Amazon Virtual Private Cloud(VPC)์—์„œ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Amazon S3์— ์ €์žฅ๋œ ๊ฐ์ฒด์˜ ๊ฒฝ์šฐ, EMRFS์—์„œ AWS Key Management Service๋‚˜ ๊ณ ๊ฐ ๊ด€๋ฆฌํ˜• ํ‚ค๋ฅผ ํ†ตํ•ด Amazon S3 ์„œ๋ฒ„ ์ธก ์•”ํ˜ธํ™” ๋˜๋Š” Amazon S3 ํด๋ผ์ด์–ธํŠธ ์ธก ์•”ํ˜ธํ™”๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ์†์‰ฝ๊ฒŒ ๋‹ค๋ฅธ ์•”ํ˜ธํ™” ์˜ต์…˜๊ณผ Kerberos๋ฅผ ํ†ตํ•œ ์ธ์ฆ์„ ํ™œ์„ฑํ™”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์œ ์—ฐ์„ฑ

์œ ์—ฐ์„ฑ

์‚ฌ์šฉ์ž๋Š” ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์™„๋ฒฝํ•˜๊ฒŒ ์ œ์–ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ์ธ์Šคํ„ด์Šค์— ๋Œ€ํ•œ ๋ฃจํŠธ ์•ก์„ธ์Šค ๊ถŒํ•œ์„ ๋ณด์œ ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์†์‰ฝ๊ฒŒ ์ถ”๊ฐ€ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์„ค์น˜ํ•˜๊ณ  ๋ถ€ํŠธ์ŠคํŠธ๋žฉ ์ž‘์—…์œผ๋กœ ๋ชจ๋“  ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‚ฌ์šฉ์ž ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ์‚ฌ์šฉ์ž ์ง€์ • Amazon Linux AMI๋ฅผ ํ†ตํ•ด Amazon EMR ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

ํด๋ฆญ ์ŠคํŠธ๋ฆผ ๋ถ„์„

ํด๋ฆญ ์ŠคํŠธ๋ฆผ ๋ถ„์„

์‚ฌ์šฉ์ž ์„ธ๊ทธ๋จผํŠธ๋ฅผ ๋‚˜๋ˆ„๊ณ , ์‚ฌ์šฉ์ž ์„ ํ˜ธ ์‚ฌํ•ญ์„ ์ดํ•ดํ•˜์—ฌ, ์ข€ ๋” ํšจ๊ณผ์ ์ธ ๊ด‘๊ณ ๋ฅผ ์ œ๊ณตํ•˜๋„๋ก ํด๋ฆญ ์ŠคํŠธ๋ฆผ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜๋Š” ๋ฐ Amazon EMR์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.    
    
Razorfish๊ฐ€ ํด๋ฆญ ์ŠคํŠธ๋ฆผ ๋ถ„์„์— ์–ด๋–ป๊ฒŒ EMR์„ ์‚ฌ์šฉํ•˜๋Š”์ง€ ์•Œ์•„๋ณด๊ธฐ »

์‹ค์‹œ๊ฐ„ ๋ถ„์„

์‹ค์‹œ๊ฐ„ ๋ถ„์„

Amazon Kinesis๋‚˜ Apache Kafka์—์„œ ๋˜๋Š” Amazon EMR ๊ธฐ๋ฐ˜ Spark Streaming์˜ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆผ์—์„œ ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๋‚ด๊ฒฐํ•จ์„ฑ์ด ์ง€์›๋˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ŠคํŠธ๋ฆฌ๋ฐ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•˜๊ณ , Amazon S3 ๋˜๋Š” HDFS์— ๊ฒฐ๊ณผ๋ฅผ ์ž‘์„ฑํ•ฉ๋‹ˆ๋‹ค.
Hearst์—์„œ ์–ด๋–ป๊ฒŒ Spark Streaming์„ ์‚ฌ์šฉํ•˜๋Š”์ง€ ์•Œ์•„๋ณด๊ธฐ »

๋กœ๊ทธ ๋ถ„์„

๋กœ๊ทธ ๋ถ„์„

Amazon EMR์€ ์›น ๋ฐ ๋ชจ๋ฐ”์ผ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์—์„œ ์ƒ์„ฑ๋œ ๋กœ๊ทธ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Amazon EMR์€ ๊ณ ๊ฐ์ด ํŽ˜ํƒ€๋ฐ”์ดํŠธ ๊ทœ๋ชจ์˜ ๋น„์ •ํ˜• ๋˜๋Š” ๋ฐ˜์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์ด๋‚˜ ์‚ฌ์šฉ์ž์— ๋Œ€ํ•œ ์œ ์šฉํ•œ ํ†ต์ฐฐ๋ ฅ์œผ๋กœ ์ „ํ™˜ํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.
Yelp๊ฐ€ EMR์„ ์‚ฌ์šฉํ•˜์—ฌ ์ฃผ์š” ์›น ์‚ฌ์ดํŠธ ๊ธฐ๋Šฅ์„ ๊ตฌํ˜„ํ•˜๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด ์•Œ์•„๋ณด๊ธฐ »

ETL

Extract Transform Load(ETL)

๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ ์„ธํŠธ์— ๋Œ€ํ•ด ์ •๋ ฌ, ์ง‘๊ณ„, ์กฐ์ธ ๋“ฑ๊ณผ ๊ฐ™์€ ๋ฐ์ดํ„ฐ ๋ณ€ํ™˜ ์›Œํฌ๋กœ๋“œ(ETL)๋ฅผ ์‹ ์†ํ•˜๊ณ  ๋น„์šฉ ํšจ์œจ์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐ Amazon EMR์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  
Redfin์ด ETL์„ ์œ„ํ•ด ์–ด๋–ป๊ฒŒ ์ž„์‹œ EMR ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋Š”์ง€ ์•Œ์•„๋ณด๊ธฐ »

์˜ˆ์ธก ๋ถ„์„

์˜ˆ์ธก ๋ถ„์„

Amazon EMR ๊ธฐ๋ฐ˜ Apache Spark์—๋Š” MLlib๊ฐ€ ํฌํ•จ๋˜์–ด ์žˆ์–ด ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ๊ธฐ๊ณ„ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์‚ฌ์šฉ์ž์˜ ์ž์ฒด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. Spark๋Š” ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์ธ ๋ฉ”๋ชจ๋ฆฌ์— ์ €์žฅํ•จ์œผ๋กœ์จ ์ผ๋ฐ˜์ ์ธ ๊ธฐ๊ณ„ ํ•™์Šต ์›Œํฌ๋กœ๋“œ์— ๋Œ€ํ•ด ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
Intent Media๊ฐ€ ์–ด๋–ป๊ฒŒ Spark MLib๋ฅผ ์‚ฌ์šฉํ•˜๋Š”์ง€ ์•Œ์•„๋ณด๊ธฐ »

์œ ์ „์ฒดํ•™

์œ ์ „์ฒดํ•™

Amazon EMR์€ ๋ฐฉ๋Œ€ํ•œ ์–‘์˜ ์œ ์ „์ž ๋ฐ์ดํ„ฐ์™€ ๊ธฐํƒ€ ๋Œ€๊ทœ๋ชจ ๊ณผํ•™ ๋ฐ์ดํ„ฐ ์ง‘ํ•ฉ์„ ๋น ๋ฅด๊ณ  ํšจ์œจ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฐ๊ตฌ์›๋“ค์€ AWS์—์„œ ๋ฌด๋ฃŒ๋กœ ํ˜ธ์ŠคํŒ…๋˜๋Š” ์œ ์ „์ž ๋ฐ์ดํ„ฐ์— ์•ก์„ธ์Šคํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
Apache Spark ๋ฐ ์ •๋ฐ€ ์˜ํ•™์— ๋Œ€ํ•ด ์•Œ์•„๋ณด๊ธฐ »

์‰ฝ๊ฒŒ Amazon EMR์„ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹œ์ž‘ ์•ˆ๋‚ด์„œ๋ฅผ ๋”ฐ๋ผ ํด๋ฆญ ๋ช‡ ๋ฒˆ์œผ๋กœ ์ฒซ ๋ฒˆ์งธ Amazon EMR ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‹œ์ž‘ํ•˜๊ณ  AWS์—์„œ ์ œ๊ณตํ•˜๋Š” ๋ฐ์ดํ„ฐ ๋ ˆ์ดํฌ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜๊ธฐ ์‹œ์ž‘ํ•˜์‹ญ์‹œ์˜ค. Spark, Presto ๋ฐ ๋ฐ์ดํ„ฐ ๋ ˆ์ดํฌ๊ฐ€ ๋ฌด์—‡์ธ์ง€, EMR์ด AWS Data Lakes and Analytics ํฌํŠธํด๋ฆฌ์˜ค์—์„œ ์–ด๋–ค ์—ญํ• ์„ ํ•˜๋Š”์ง€๋„ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์‹œ์ž‘ํ•˜๊ธฐ