Amazon EMR์ ๊ด๋ฆฌํ ํ๋ก ํ๋ ์์ํฌ๋ก์ ๋์ ์ผ๋ก ํ์ฅ ๊ฐ๋ฅํ Amazon EC2 ์ธ์คํด์ค ์ ์ฒด์์ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ณ ๋น ๋ฅด๋ฉฐ ๋น์ฉ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ๋ํ, Amazon EMR์์ Apache Spark, HBase, Presto ๋ฐ Flink์ ๊ฐ์ด ๋๋ฆฌ ์ฌ์ฉ๋๋ ๋ถ์ฐ ํ๋ ์์ํฌ๋ฅผ ์คํํ๊ณ , Amazon S3 ๋ฐ Amazon DynamoDB์ ๊ฐ์ ๋ค๋ฅธ AWS ๋ฐ์ดํฐ ์คํ ์ด์ ๋ฐ์ดํฐ์ ์ํธ ์์ฉํ ์ ์์ต๋๋ค.
Amazon EMR์ ๋ก๊ทธ ๋ถ์, ์น ์ธ๋ฑ์ฑ, ๋ฐ์ดํฐ ๋ณํ(ETL), ๊ธฐ๊ณ ํ์ต, ๊ธ์ต ๋ถ์, ๊ณผํ์ ์๋ฎฌ๋ ์ด์ ๋ฐ ์๋ฌผ ์ ๋ณดํ์ ๋น๋กฏํ์ฌ ๊ด๋ฒ์ํ ๋น ๋ฐ์ดํฐ ์ฌ์ฉ ์ฌ๋ก๋ฅผ ์์ ํ๊ณ ์์ ์ ์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค.
Amazon EMR์ ๋ฒ์ ์ด ์ง์ ๋ ๋ฆด๋ฆฌ์ค์์๋ Apache ํ๋ก ๋ฐ Spark ์์ฝ์์คํ ์ ์ ํ๋ฆฌ์ผ์ด์ ์ ๋น๋กฏํ์ฌ EMR ํด๋ฌ์คํฐ์ ์ต์ ์คํ ์์ค ํ๋ก์ ํธ๋ฅผ ์์ฝ๊ฒ ์ ํํ์ฌ ์ฌ์ฉํ ์ ์์ต๋๋ค. Amazon EMR์์ ์ํํธ์จ์ด๋ฅผ ์ค์นํ๊ณ ๊ตฌ์ฑํ๋ฏ๋ก ์ฌ์ฉ์๋ ์ธํ๋ผ์ ๊ด๋ฆฌ ์์ ์ ๋ํ ๊ฑฑ์ ์์ด ๋ฐ์ดํฐ ๊ฐ์น๋ฅผ ๋์ด๋ ๋ฐ ๋ ๋ง์ ์๊ฐ์ ํฌ์ํ ์ ์์ต๋๋ค.
์ฌ์ฉ ํธ์์ฑ
Amazon EMR ํด๋ฌ์คํฐ๋ฅผ ๋ช ๋ถ ๋ง์ ์์ํ ์ ์์ต๋๋ค. ๋ ธ๋ ํ๋ก๋น์ ๋, ํด๋ฌ์คํฐ ์ค์ , ํ๋ก ๊ตฌ์ฑ ๋๋ ํด๋ฌ์คํฐ ํ๋์ ๊ฑฑ์ ํ ํ์๊ฐ ์์ต๋๋ค. Amazon EMR์ด ์ด๋ฌํ ์์ ์ ๋ชจ๋ ์ฒ๋ฆฌํด์ฃผ๋ฏ๋ก ๋ถ์์๋ง ์ง์คํ ์ ์์ต๋๋ค.
์ ๋ ดํ ๋น์ฉ
Amazon EMR ์๊ธ์ ๊ฐ๋จํ๊ณ ์์ธก ๊ฐ๋ฅํฉ๋๋ค. ์ฌ์ฉํ ๋ชจ๋ ์๊ฐ(์ด)์ ๋ํด ์ด๋น ์๊ธ์ ์ง๋ถํ๋ฉฐ ์ต์ ์๊ธ์ 1๋ถ์
๋๋ค. ๋
ธ๋ 10๊ฐ์ ํ๋ก ํด๋ฌ์คํฐ๋ฅผ ์๊ฐ๋น 0.15 USD๋ผ๋ ์ ๋ ดํ ๋น์ฉ์ผ๋ก ์์ํ ์ ์์ต๋๋ค. Amazon EMR์ ๊ธฐ๋ณธ์ ์ผ๋ก Amazon EC2 ์คํ ์ธ์คํด์ค ๋ฐ ์์ฝ ์ธ์คํด์ค๋ฅผ ์ง์ํ๋ฏ๋ก ํด๋น ์ธ์คํด์ค ๋น์ฉ์ 50~80%๊น์ง ์ ๊ฐํ ์ ์์ต๋๋ค.
ํ๋ ฅ์ฑ
Amazon EMR์ ์ฌ์ฉํ๋ฉด ์ปดํจํ
์ธ์คํด์ค๋ฅผ ํ ๊ฐ, ์๋ฐฑ ๊ฐ ๋๋ ์์ฒ ๊ฐ๊น์ง ํ๋ก๋น์ ๋ํ์ฌ ์ํ๋ ๊ท๋ชจ์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ์๋์ผ๋ก ๋๋ Auto Scaling์ ํตํด ์ธ์คํด์ค ์๋ฅผ ์ฝ๊ฒ ๋๋ฆฌ๊ฑฐ๋ ์ค์ผ ์ ์์ผ๋ฉฐ, ์ฌ์ฉํ ๋งํผ๋ง ๋น์ฉ์ ์ง๋ถํฉ๋๋ค.
์์ ์ฑ
ํด๋ฌ์คํฐ ํ๋๊ณผ ๋ชจ๋ํฐ๋ง์ ์๋น๋๋ ์๊ฐ์ ์ค์ผ ์ ์์ต๋๋ค. Amazon EMR์ ํด๋ผ์ฐ๋์ ์ ํฉํ๊ฒ ํ๋ก์ ํ๋ํ์ต๋๋ค. ๋ํ, ํด๋ฌ์คํฐ๋ฅผ ๋ชจ๋ํฐ๋งํ์ฌ ์คํจํ ์์
์ ๋ค์ ์๋ํ๊ณ ์ฑ๋ฅ์ด ๋จ์ด์ง๋ ์ธ์คํด์ค๋ฅผ ์๋์ผ๋ก ๊ต์ฒดํฉ๋๋ค.
๋ณด์
Amazon EMR์ด ์ธ์คํด์ค์ ๋ํ ๋คํธ์ํฌ ์ก์ธ์ค๋ฅผ ์ ์ดํ๋ Amazon EC2 ๋ฐฉํ๋ฒฝ ์ค์ ์ ์๋์ผ๋ก ๊ตฌ์ฑํด์ฃผ๊ธฐ ๋๋ฌธ์ ์ฌ์ฉ์๋ ์ง์ ์ ์ํ๋ ๋
ผ๋ฆฌ์ ์ผ๋ก ๊ฒฉ๋ฆฌ๋ ๋คํธ์ํฌ์ธ Amazon Virtual Private Cloud(VPC)์์ ํด๋ฌ์คํฐ๋ฅผ ์์ํ ์ ์์ต๋๋ค. Amazon S3์ ์ ์ฅ๋ ๊ฐ์ฒด์ ๊ฒฝ์ฐ, EMRFS์์ AWS Key Management Service๋ ๊ณ ๊ฐ ๊ด๋ฆฌํ ํค๋ฅผ ํตํด Amazon S3 ์๋ฒ ์ธก ์ํธํ ๋๋ Amazon S3 ํด๋ผ์ด์ธํธ ์ธก ์ํธํ๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ํ, ์์ฝ๊ฒ ๋ค๋ฅธ ์ํธํ ์ต์
๊ณผ Kerberos๋ฅผ ํตํ ์ธ์ฆ์ ํ์ฑํํ ์ ์์ต๋๋ค.
์ ์ฐ์ฑ
์ฌ์ฉ์๋ ํด๋ฌ์คํฐ๋ฅผ ์๋ฒฝํ๊ฒ ์ ์ดํ ์ ์์ต๋๋ค. ๋ชจ๋ ์ธ์คํด์ค์ ๋ํ ๋ฃจํธ ์ก์ธ์ค ๊ถํ์ ๋ณด์ ํ๊ธฐ ๋๋ฌธ์ ์์ฝ๊ฒ ์ถ๊ฐ ์ ํ๋ฆฌ์ผ์ด์
์ ์ค์นํ๊ณ ๋ถํธ์คํธ๋ฉ ์์
์ผ๋ก ๋ชจ๋ ํด๋ฌ์คํฐ๋ฅผ ์ฌ์ฉ์ ์ง์ ํ ์ ์์ต๋๋ค. ๋ํ, ์ฌ์ฉ์ ์ง์ Amazon Linux AMI๋ฅผ ํตํด Amazon EMR ํด๋ฌ์คํฐ๋ฅผ ์์ํ ์ ์์ต๋๋ค.
ํด๋ฆญ ์คํธ๋ฆผ ๋ถ์
์ฌ์ฉ์ ์ธ๊ทธ๋จผํธ๋ฅผ ๋๋๊ณ , ์ฌ์ฉ์ ์ ํธ ์ฌํญ์ ์ดํดํ์ฌ, ์ข ๋ ํจ๊ณผ์ ์ธ ๊ด๊ณ ๋ฅผ ์ ๊ณตํ๋๋ก ํด๋ฆญ ์คํธ๋ฆผ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๋ ๋ฐ Amazon EMR์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
Razorfish๊ฐ ํด๋ฆญ ์คํธ๋ฆผ ๋ถ์์ ์ด๋ป๊ฒ EMR์ ์ฌ์ฉํ๋์ง ์์๋ณด๊ธฐ »
์ค์๊ฐ ๋ถ์
Amazon Kinesis๋ Apache Kafka์์ ๋๋ Amazon EMR ๊ธฐ๋ฐ Spark Streaming์ ๋ค๋ฅธ ๋ฐ์ดํฐ ์คํธ๋ฆผ์์ ์ค์๊ฐ ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ๊ณ ์ฒ๋ฆฌํฉ๋๋ค. ๋ด๊ฒฐํจ์ฑ์ด ์ง์๋๋ ๋ฐฉ์์ผ๋ก ์คํธ๋ฆฌ๋ฐ ๋ถ์์ ์ํํ๊ณ , Amazon S3 ๋๋ HDFS์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํฉ๋๋ค.
Hearst์์ ์ด๋ป๊ฒ Spark Streaming์ ์ฌ์ฉํ๋์ง ์์๋ณด๊ธฐ »
๋ก๊ทธ ๋ถ์
Amazon EMR์ ์น ๋ฐ ๋ชจ๋ฐ์ผ ์ ํ๋ฆฌ์ผ์ด์
์์ ์์ฑ๋ ๋ก๊ทธ๋ฅผ ์ฒ๋ฆฌํ๋ ๋ฐ ์ฌ์ฉํ ์ ์์ต๋๋ค. Amazon EMR์ ๊ณ ๊ฐ์ด ํํ๋ฐ์ดํธ ๊ท๋ชจ์ ๋น์ ํ ๋๋ ๋ฐ์ ํ ๋ฐ์ดํฐ๋ฅผ ์ ํ๋ฆฌ์ผ์ด์
์ด๋ ์ฌ์ฉ์์ ๋ํ ์ ์ฉํ ํต์ฐฐ๋ ฅ์ผ๋ก ์ ํํ๋ ๋ฐ ๋์์ด ๋ฉ๋๋ค.
Yelp๊ฐ EMR์ ์ฌ์ฉํ์ฌ ์ฃผ์ ์น ์ฌ์ดํธ ๊ธฐ๋ฅ์ ๊ตฌํํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์์๋ณด๊ธฐ »
Extract Transform Load(ETL)
๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ์ ๋ํด ์ ๋ ฌ, ์ง๊ณ, ์กฐ์ธ ๋ฑ๊ณผ ๊ฐ์ ๋ฐ์ดํฐ ๋ณํ ์ํฌ๋ก๋(ETL)๋ฅผ ์ ์ํ๊ณ ๋น์ฉ ํจ์จ์ ์ผ๋ก ์ํํ๋ ๋ฐ Amazon EMR์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
Redfin์ด ETL์ ์ํด ์ด๋ป๊ฒ ์์ EMR ํด๋ฌ์คํฐ๋ฅผ ์ฌ์ฉํ๋์ง ์์๋ณด๊ธฐ »
์์ธก ๋ถ์
Amazon EMR ๊ธฐ๋ฐ Apache Spark์๋ MLlib๊ฐ ํฌํจ๋์ด ์์ด ํ์ฅ ๊ฐ๋ฅํ ๊ธฐ๊ณ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ ์ฌ์ฉํ ์ ์์ผ๋ฉฐ, ์ฌ์ฉ์์ ์์ฒด ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ ์๋ ์์ต๋๋ค. Spark๋ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ธ ๋ฉ๋ชจ๋ฆฌ์ ์ ์ฅํจ์ผ๋ก์จ ์ผ๋ฐ์ ์ธ ๊ธฐ๊ณ ํ์ต ์ํฌ๋ก๋์ ๋ํด ๋ฐ์ด๋ ์ฑ๋ฅ์ ์ ๊ณตํ ์ ์์ต๋๋ค.
Intent Media๊ฐ ์ด๋ป๊ฒ Spark MLib๋ฅผ ์ฌ์ฉํ๋์ง ์์๋ณด๊ธฐ »
์ ์ ์ฒดํ
Amazon EMR์ ๋ฐฉ๋ํ ์์ ์ ์ ์ ๋ฐ์ดํฐ์ ๊ธฐํ ๋๊ท๋ชจ ๊ณผํ ๋ฐ์ดํฐ ์งํฉ์ ๋น ๋ฅด๊ณ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ๋ ๋ฐ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ฐ๊ตฌ์๋ค์ AWS์์ ๋ฌด๋ฃ๋ก ํธ์คํ
๋๋ ์ ์ ์ ๋ฐ์ดํฐ์ ์ก์ธ์คํ ์ ์์ต๋๋ค.
Apache Spark ๋ฐ ์ ๋ฐ ์ํ์ ๋ํด ์์๋ณด๊ธฐ »
์ฝ๊ฒ Amazon EMR์ ์์ํ ์ ์์ต๋๋ค. ์์ ์๋ด์๋ฅผ ๋ฐ๋ผ ํด๋ฆญ ๋ช ๋ฒ์ผ๋ก ์ฒซ ๋ฒ์งธ Amazon EMR ํด๋ฌ์คํฐ๋ฅผ ์์ํ๊ณ AWS์์ ์ ๊ณตํ๋ ๋ฐ์ดํฐ ๋ ์ดํฌ์ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๊ธฐ ์์ํ์ญ์์ค. Spark, Presto ๋ฐ ๋ฐ์ดํฐ ๋ ์ดํฌ๊ฐ ๋ฌด์์ธ์ง, EMR์ด AWS Data Lakes and Analytics ํฌํธํด๋ฆฌ์ค์์ ์ด๋ค ์ญํ ์ ํ๋์ง๋ ๋ฐฐ์ธ ์ ์์ต๋๋ค.








