AWS Deep Learning AMI

Amazon EC2 ๊ธฐ๋ฐ˜์˜ ๋”ฅ ๋Ÿฌ๋‹์„ ์œ„ํ•œ ์•ˆ์ „ํ•˜๊ณ  ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ํ™˜๊ฒฝ

์ง€๊ธˆ ์‹œ์ž‘ํ•˜๊ธฐ

Deep Learning AMI ์„ธ๋ถ€ ์ •๋ณด

์ง€์›๋˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ

๋ชจ๋ธ ๊ต์œก ๊ฐ€์†ํ™”

์‹œ์ž‘ํ•˜๊ธฐ

 

AWS Deep Learning AMI๋Š” ๋ฐ์ดํ„ฐ ๊ณผํ•™์ž, ๊ธฐ๊ณ„ ํ•™์Šต ๋‹ด๋‹น์ž ๋ฐ ์—ฐ๊ตฌ์›์—๊ฒŒ ๊ทœ๋ชจ์™€ ๊ด€๊ณ„์—†์ด ํด๋ผ์šฐ๋“œ์—์„œ ๋”ฅ ๋Ÿฌ๋‹ ๊ด€๋ จ ์ž‘์—…์„ ๊ฐ€์†ํ™”ํ•  ์ˆ˜ ์žˆ๋Š” ์ธํ”„๋ผ ๋ฐ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ธ๊ธฐ ์žˆ๋Š” ๋”ฅ ๋Ÿฌ๋‹ ํ”„๋ ˆ์ž„์›Œํฌ๊ฐ€ ์‚ฌ์ „์— ์„ค์น˜๋œ Amazon Linux ๋˜๋Š” Ubuntu์—์„œ ์‹ ์†ํ•˜๊ฒŒ Amazon EC2 ์ธ์Šคํ„ด์Šค๋ฅผ ์‹œ์ž‘ํ•˜์—ฌ ์ •๊ตํ•œ ์‚ฌ์šฉ์ž ์ง€์ • AI ๋ชจ๋ธ์„ ๊ต์œกํ•˜๊ณ  ์ƒˆ๋กœ์šด ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์‹คํ—˜ํ•˜๊ฑฐ๋‚˜ ์ƒˆ๋กœ์šด ๊ธฐ์ˆ  ๋ฐ ๊ธฐ๋ฒ•์„ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Deep Learning AMI๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋Œ€๊ทœ๋ชจ ๊ต์œก์„ ์œ„ํ•ด ๊ด€๋ฆฌํ˜• Auto-Scaling GPU ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ƒ์„ฑํ•˜๊ฑฐ๋‚˜, ์ปดํ“จํŒ… ์ตœ์ ํ™” ๋˜๋Š” ๋ฒ”์šฉ CPU ์ธ์Šคํ„ด์Šค๋ฅผ ์‚ฌ์šฉํ•ด ๊ต์œก๋œ ๋ชจ๋ธ์—์„œ ์ถ”๋ก ์„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋•Œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ํ”„๋ ˆ์ž„์›Œํฌ๋กœ๋Š” Apache MXNet, TensorFlow, Microsoft Cognitive Toolkit(CNTK), Caffe, Caffe2, Theano, Torch ๋ฐ Keras๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

 

AWS Deep Learning AMI์˜ ์ด์ 

100x100_benefit_provisioned

๋น ๋ฅด๊ฒŒ ์‹œ์ž‘

ํด๋ผ์šฐ๋“œ์—์„œ ์‹ ์†ํ•˜๊ฒŒ ๋”ฅ ๋Ÿฌ๋‹ Amazon EC2 ์ธ์Šคํ„ด์Šค๋ฅผ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ๋„๋ก, Deep Learning AMI๋Š” ๋‹ค์ˆ˜์˜ ์ธ๊ธฐ ์žˆ๋Š” ๋”ฅ ๋Ÿฌ๋‹ ํ”„๋ ˆ์ž„์›Œํฌ์™€ ํ•จ๊ป˜ ํ”„๋กœ๋น„์ €๋‹๋˜๋ฉฐ ๊ฐ AMI๋Š” ์˜ฌ๋ฐ”๋ฅธ ์„ค์น˜, ๊ตฌ์„ฑ ๋ฐ ๋ชจ๋ธ ์ •ํ™•๋„๋ฅผ ๋ณด์—ฌ์ฃผ๋Š” ์‰ฌ์šด ์‹œ์ž‘ ์ž์Šต์„œ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

100x100_benefit_easy-steps

๊ฐ„ํŽธํ•˜๊ฒŒ ์„ค์ • ๋ฐ ๊ตฌ์„ฑ

Deep Learning AMI๋Š” ์ข…์†์„ฑ์„ ์„ค์น˜ํ•˜๊ณ , ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๋ฒ„์ „์„ ์ถ”์ ํ•˜๋ฉฐ, ์ฝ”๋“œ ํ˜ธํ™˜์„ฑ์„ ๊ฒ€์ฆํ•ฉ๋‹ˆ๋‹ค.  AMI๋Š” ๋งค๋‹ฌ ์—…๋ฐ์ดํŠธ๋˜๋ฏ€๋กœ ํ•ญ์ƒ ์ตœ์‹  ๋ฒ„์ „์˜ ์—”์ง„ ๋ฐ ๋ฐ์ดํ„ฐ ๊ณผํ•™ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

 

100x100_benefit_pay-as-you-go

์‚ฌ์šฉํ•œ ๋งŒํผ๋งŒ ์ง€๋ถˆ

Amazon EC2 GPU๊ฐ€ ํ•„์š”ํ•˜๋“  CPU ์ธ์Šคํ„ด์Šค๊ฐ€ ํ•„์š”ํ•˜๋“ , Deep Learning AMI์— ๋Œ€ํ•œ ์ถ”๊ฐ€ ๋น„์šฉ์€ ์—†์Šต๋‹ˆ๋‹ค.  ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์ €์žฅ ๋ฐ ์‹คํ–‰ํ•˜๋Š” ๋ฐ ํ•„์š”ํ•œ AWS ์‹œ๊ฐ„๋‹น ๋ฆฌ์†Œ์Šค์— ๋Œ€ํ•œ ๋น„์šฉ๋งŒ ์ง€๋ถˆํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค.

์ธ๊ธฐ ์žˆ๋Š” ๋”ฅ ๋Ÿฌ๋‹ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ง€์›

 

๋”ฅ ๋Ÿฌ๋‹์€ ๊ธฐ์ˆ ์ ์œผ๋กœ ์–ด๋ ค์šธ ์ˆ˜ ์žˆ๊ณ  ๋ชจ๋ธ ์ž์ฒด์˜ ์ˆ˜ํ•™์„ ์ดํ•ดํ•˜๊ณ  ๋Œ€๊ทœ๋ชจ ๋ถ„์‚ฐ ์‹œ์Šคํ…œ ์ „์ฒด๋กœ ๊ต์œก ๋ฐ ์ถ”๋ก ์„ ํ™•์žฅํ•œ ๊ฒฝํ—˜์ด ํ•„์š”ํ•  ๋•Œ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. ์ด์— ๋”ฐ๋ผ ๋ชจ๋ธ์„ ์ •์˜ํ•œ ํ›„ ๋Œ€๊ทœ๋ชจ๋กœ ๊ต์œกํ•  ์ˆ˜ ์žˆ๋Š” ๋”ฅ ๋Ÿฌ๋‹ ํ”„๋ ˆ์ž„์›Œํฌ๊ฐ€ ๋ช‡ ๊ฐ€์ง€ ๊ฐœ๋ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. Amazon Linux ๋ฐ Ubuntu์šฉ์œผ๋กœ ๊ฐœ๋ฐœ๋œ AWS Deep Learning AMI๋Š” Apache MXNet, TensorFlow, Microsoft Cognitive Toolkit(CNTK), Caffe, Caffe2, Theano, Torch ๋ฐ Keras๊ฐ€ ์‚ฌ์ „์— ๊ตฌ์„ฑ๋˜์–ด ์ œ๊ณต๋˜๋ฏ€๋กœ ์›ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๋Œ€๊ทœ๋ชจ๋กœ ์‹ ์†ํ•˜๊ฒŒ ๋ฐฐํฌํ•˜๊ณ  ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Apache MXNet
Keras
TensorFlow
Theano
Caffe2
600x400_Caffe_Logo
Torch
Microsoft Cognitive Toolkit

๋ชจ๋ธ ๊ต์œก ๋ฐ ๊ฐœ๋ฐœ์„ ๊ฐ€์†ํ™”

 

๋”ฅ ๋Ÿฌ๋‹ ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ์ˆ˜๋งŽ์€ ํ–‰๋ ฅ์„ ๊ณฑํ•˜๋Š” ํ”„๋กœ์„ธ์Šค๊ฐ€ ์ˆ˜๋ฐ˜๋˜๋Š” ์‹ ๊ฒฝ๋ง์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ ๊ต์œก๊ณผ ๋”ฅ ๋Ÿฌ๋‹ ์—ฐ๊ตฌ ๋ฐ ๊ฐœ๋ฐœ์„ ๊ฐ€์†ํ™”ํ•  ์ˆ˜ ์žˆ๋„๋ก AWS Deep Learning AMI์—์„œ๋Š” ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” Python ํŒจํ‚ค์ง€์™€ Anaconda ํ”Œ๋žซํผ์„ ์„ค์น˜ํ•˜๋Š” ๊ฒƒ๊ณผ ๋”๋ถˆ์–ด ์ธํ…” MKL(Math Kernel Library)์„ ์ œ๊ณตํ•˜๊ณ  ์‚ฌ์ „์— ๊ตฌ์„ฑ๋œ CUDA ๋ฐ cdDNN ๋“œ๋ผ์ด๋ฒ„๋ฅผ ํ†ตํ•ด GPU ๊ฐ€์†ํ™”๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

NVIDIA

Amazon EC2 P2 ์ธ์Šคํ„ด์Šค์—์„œ ์‹คํ–‰๋˜๋Š” AWS Deep Learning AMI์—๋Š” ๋ชจ๋“  ์ง€์›๋˜๋Š” ๋”ฅ ๋Ÿฌ๋‹ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์œ„ํ•ด NVIDIA CUDA ๋ฐ cuDNN ๋“œ๋ผ์ด๋ฒ„๊ฐ€ ์‚ฌ์ „์— ์„ค์น˜๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ปดํ“จํŒ…์„ ์ˆ˜ํ–‰ํ•˜๋Š” ์‹œ๊ฐ„์ด ์ƒ๋‹นํžˆ ๊ฐ€์†ํ™”๋ฉ๋‹ˆ๋‹ค.

์ธํ…” MKL

Amazon EC2 ์ธ์Šคํ„ด์Šค์—์„œ ์ธํ…” ๊ธฐ๋ฐ˜ ํ”„๋กœ์„ธ์„œ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ, Deep Learning AMI๋Š” ์ธํ…” MKL(Math Kernel Library)๊ณผ ํ†ตํ•ฉ๋˜์–ด ์ˆ˜ํ•™ ์ฒ˜๋ฆฌ ๋ฐ ์‹ ๊ฒฝ๋ง ๋ฃจํ‹ด์„ ๊ฐ€์†ํ™”ํ•ฉ๋‹ˆ๋‹ค.

Python

AWS Deep Learning AMI๋Š” Python์šฉ AWS SDK๋ฅผ ๋น„๋กฏํ•˜์—ฌ ์„ ํ˜ธํ•˜๋Š” ์ธ๊ธฐ ์žˆ๋Š” Python ํŒจํ‚ค์ง€์™€ ํ•จ๊ป˜ Python 2.7 ๋ฐ Python 3.4 ์ปค๋„์ด ๋กœ๋”ฉ๋œ Jupyter(์ด์ „ ์ด๋ฆ„ iPython) ๋…ธํŠธ๋ถ์— ์„ค์น˜๋˜์–ด ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค.

Anaconda

ํŒจํ‚ค์ง€ ๊ด€๋ฆฌ ๋ฐ ๋ฐฐํฌ๋ฅผ ๊ฐ„์†Œํ™”ํ•  ์ˆ˜ ์žˆ๋„๋ก AWS Deep Learning AMI์—์„œ๋Š” ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ, ์˜ˆ์ธก ๋ถ„์„, ๊ณผํ•™ ์ปดํ“จํŒ…์„ ์œ„ํ•ด Anaconda2 ๋ฐ Anaconda3 ๋ฐ์ดํ„ฐ ๊ณผํ•™ ํ”Œ๋žซํผ์„ ์„ค์น˜ํ•ฉ๋‹ˆ๋‹ค.

 

์‰ฝ๊ฒŒ ์‹œ์ž‘ํ•˜๋Š” ๋‘ ๊ฐ€์ง€ ๋ฐฉ๋ฒ•

ํด๋ฆญ ํ•œ ๋ฒˆ์œผ๋กœ ๋”ฅ ๋Ÿฌ๋‹ ์ปดํ“จํŒ… ์ธ์Šคํ„ด์Šค๋ฅผ ๋ฐฐํฌ

AWS Deep Learning AMI๋Š” AWS Marketplace์—์„œ ์‹ ์†ํ•˜๊ฒŒ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.  ๋Œ€๊ทœ๋ชจ ๊ต์œก์„ ์œ„ํ•œ GPU, ์ถ”๋ก  ์‹คํ–‰์„ ์œ„ํ•œ CPU, ๋˜๋Š” ์•ˆ์ •์ ์ด๊ณ  ์•ˆ์ „ํ•˜๋ฉฐ ์„ฑ๋Šฅ์ด ๋›ฐ์–ด๋‚œ ์‹คํ–‰ ํ™˜๊ฒฝ์„ ์œ„ํ•œ CPU๋ฅผ ์„ ํƒํ•˜์—ฌ ๋”ฅ ๋Ÿฌ๋‹ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์‹คํ–‰ํ•˜๊ณ  ์‚ฌ์šฉํ•œ ๋งŒํผ๋งŒ ๋น„์šฉ์„ ์ง€๋ถˆํ•˜์‹ญ์‹œ์˜ค.

๋น ๋ฅธ ์‹œ์ž‘ ์•ˆ๋‚ด์„œ๋Š” AI ๋ธ”๋กœ๊ทธ๋ฅผ ์ฐธ์กฐ >>

AWS Deep Learning AMI ์‹œ์ž‘ํ•˜๊ธฐ

AWS CloudFormation Deep Learning ํ…œํ”Œ๋ฆฟ์œผ๋กœ ์„ค์ •์„ ๊ฐ„์†Œํ™”

์—ฌ๋Ÿฌ ์ธ์Šคํ„ด์Šค๋ฅผ ๊ต์œกํ•  ์ˆ˜ ์žˆ๋„๋ก, Deep Learning CloudFormation ํ…œํ”Œ๋ฆฟ์—์„œ๋Š” Deep Learning AMI๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ชจ๋“  ๋ฆฌ์†Œ์Šค๋ฅผ ์‹ ์†ํ•˜๊ฒŒ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ„๋‹จํ•œ ๋ฐฉ๋ฒ•์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. 

์ง€๊ธˆ GitHub ๋ฆฌํฌ์ง€ํ† ๋ฆฌ์—์„œ ํ…œํ”Œ๋ฆฟ์„ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ  CloudFormation ์Šคํƒ์„ ์‹œ์ž‘ํ•˜์‹ญ์‹œ์˜ค.

Deep Learning ํ…œํ”Œ๋ฆฟ ๋‹ค์šด๋กœ๋“œ