Amazon Web Services ํ•œ๊ตญ ๋ธ”๋กœ๊ทธ

AWS re:Invent 2024 ์ฃผ์š” ์ถœ์‹œ ์†Œ์‹ ์š”์•ฝ ์ „์ฒด ๋ณด๊ธฐ

AWS re:Invent 2024์ปจํผ๋Ÿฐ์Šค๋Š” 2024๋…„ 12์›” 2์ผ๋ถ€ํ„ฐ 6์ผ๊นŒ์ง€ ๋ผ์Šค๋ฒ ์ด๊ฑฐ์Šค์—์„œ ๊ฐœ์ตœ๋ฉ๋‹ˆ๋‹ค. ์ฃผ์š” ํด๋ผ์šฐ๋“œ ์ปดํ“จํŒ… ์ด๋ฒคํŠธ๋กœ์„œ ์ „ ์„ธ๊ณ„ ํด๋ผ์šฐ๋“œ ์ปดํ“จํŒ… ์ปค๋ฎค๋‹ˆํ‹ฐ๋ฅผ ํ•œ์ž๋ฆฌ์— ๋ชจ์•„ ์ผ์ฃผ์ผ ๋™์•ˆ ๊ธฐ์กฐ ์—ฐ์„ค, ๊ธฐ์ˆ  ์„ธ์…˜, ์ œํ’ˆ ์ถœ์‹œ ๋ฐ ๋„คํŠธ์›Œํ‚น ๊ธฐํšŒ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. AWS๋Š” ์ปจํผ๋Ÿฐ์Šค ๊ธฐ๊ฐ„ ๋™์•ˆ ์ตœ์‹  ํ˜์‹  ๊ธฐ์ˆ ๊ณผ ์„œ๋น„์Šค๋ฅผ ๊ณ„์† ๊ณต๊ฐœํ•˜๊ณ  ์žˆ์œผ๋ฉฐ, ์—ฌ๊ธฐ์—์„œ ๋ชจ๋“  ์ฃผ์š” ์ œํ’ˆ ๋ฐœํ‘œ๋ฅผ ๊ณ„์† ์—…๋ฐ์ดํŠธํ•  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค. ์ถ”๊ฐ€ re:Invent ๊ด€๋ จ ์ž๋ฃŒ: [โ€ฆ]

Amazon SageMaker HyperPod ๋ ˆ์‹œํ”ผ: ๋ชจ๋ธ ํ›ˆ๋ จ ๋ฐ ๋ฏธ์„ธ ์กฐ์ • ๊ฐ€์†ํ™”

๋ชจ๋“  ๊ธฐ์ˆ ์„ ๊ฐ–์ถ˜ ๋ฐ์ดํ„ฐ ๊ณผํ•™์ž์™€ ๊ฐœ๋ฐœ์ž๊ฐ€ ์ตœ์ฒจ๋‹จ ์„ฑ๋Šฅ์œผ๋กœ ๋ช‡ ๋ถ„ ๋งŒ์— ํŒŒ์šด๋ฐ์ด์…˜ ๋ชจ๋ธ(FM) ํ›ˆ๋ จ์„ ์‹œ์ž‘ํ•˜๊ณ  ๋ฏธ์„ธ ์กฐ์ •ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•˜๋Š” Amazon SageMaker HyperPod ๋ ˆ์‹œํ”ผ์˜ ์ •์‹ ์ถœ์‹œ๋ฅผ ๋ฐœํ‘œํ•ฉ๋‹ˆ๋‹ค. ์ด์ œ Llama 3.1 405B, Llama 3.2 90B, Mixtral 8x22B์™€ ๊ฐ™์ด ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” FM์„ ํ›ˆ๋ จํ•˜๊ณ  ๋ฏธ์„ธ ์กฐ์ •ํ•˜๋Š” ๋ฐ ์ตœ์ ํ™”๋œ ๋ ˆ์‹œํ”ผ์— ์•ก์„ธ์Šคํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. AWS re:Invent 2023์—์„œ๋Š” SageMaker HyperPod๋ฅผ ์†Œ๊ฐœํ•˜์—ฌ [โ€ฆ]

Amazon SageMaker HyperPod ์ž‘์—… ๊ฑฐ๋ฒ„๋„Œ์Šค: ๋ชจ๋ธ ๊ฐœ๋ฐœ์„ ์œ„ํ•œ ์ปดํ“จํŒ… ์‚ฌ์šฉ ๊ทน๋Œ€ํ™”

์˜ค๋Š˜์€ ํ•™์Šต, ๋ฏธ์„ธ ์กฐ์ •, ์ถ”๋ก ๊ณผ ๊ฐ™์€ ์ƒ์„ฑํ˜• AI ๋ชจ๋ธ ๊ฐœ๋ฐœ ์ž‘์—… ์ „๋ฐ˜์—์„œ GPU ๋ฐ Tranium ์‚ฌ์šฉ๋ฅ ์„ ์‰ฝ๊ฒŒ ์ค‘์•™ ์ง‘์ค‘์‹์œผ๋กœ ๊ด€๋ฆฌํ•˜๊ณ  ๊ทน๋Œ€ํ™”ํ•  ์ˆ˜ ์žˆ๋Š” ์ƒˆ๋กœ์šด ํ˜์‹ , Amazon SageMaker HyperPod ์ž‘์—… ๊ฑฐ๋ฒ„๋„Œ์Šค์˜ ์ •์‹ ์ถœ์‹œ๋ฅผ ๋ฐœํ‘œํ•ฉ๋‹ˆ๋‹ค. ๊ณ ๊ฐ๋“ค์€ ์ƒ์„ฑํ˜• AI ํ”„๋กœ์ ํŠธ์— ๋Œ€ํ•œ ํˆฌ์ž๋ฅผ ๋น ๋ฅด๊ฒŒ ๋Š˜๋ฆฌ๊ณ  ์žˆ์ง€๋งŒ ์ œํ•œ๋œ ์ปดํ“จํŒ… ๋ฆฌ์†Œ์Šค๋ฅผ ํšจ์œจ์ ์œผ๋กœ ํ• ๋‹นํ•˜๋Š” ๋ฐ ์–ด๋ ค์›€์„ ๊ฒช๊ณ  ์žˆ๋‹ค๊ณ  ๋งํ•ฉ๋‹ˆ๋‹ค. ๋ฆฌ์†Œ์Šค ํ• ๋‹น์„ ์œ„ํ•œ [โ€ฆ]

Amazon SageMaker HyperPod ์œ ์—ฐ ํŠธ๋ ˆ์ด๋‹ ํ”Œ๋žœ: ์˜ˆ์‚ฐ ๋ฐ ์ผ์ • ๊ธฐ๋ฐ˜ ๋ชจ๋ธ ํ›ˆ๋ จ ์ œ๊ณต

๋ฐ์ดํ„ฐ ๊ณผํ•™์ž๊ฐ€ ์ผ์ •๊ณผ ์˜ˆ์‚ฐ ๋‚ด์—์„œ ๋Œ€๊ทœ๋ชจ ํŒŒ์šด๋ฐ์ด์…˜ ๋ชจ๋ธ(FM)์„ ํ›ˆ๋ จํ•˜๊ณ  ์ปดํ“จํŒ… ๊ฐ€์šฉ์„ฑ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ›ˆ๋ จ ํ”„๋กœ์„ธ์Šค๋ฅผ ๊ด€๋ฆฌํ•˜๋Š” ๋ฐ ๋“œ๋Š” ๋ช‡ ์ฃผ ๊ฐ„์˜ ๋…ธ๋ ฅ์„ ์ ˆ๊ฐํ•  ์ˆ˜ ์žˆ๋„๋ก Amazon SageMaker HyperPod ์œ ์—ฐํ•œ ํ›ˆ๋ จ ํ”Œ๋žœ์˜ ์ •์‹ ์ถœ์‹œ๋ฅผ ์˜ค๋Š˜ ๋ฐœํ‘œํ•ฉ๋‹ˆ๋‹ค. AWS re:Invent 2023์—์„œ๋Š” FM์„ ํ›ˆ๋ จํ•˜๋Š” ๋ฐ ๊ฑธ๋ฆฌ๋Š” ์‹œ๊ฐ„์„ ์ตœ๋Œ€ 40% ์ค„์ด๊ณ  ์‚ฌ์ „ ๊ตฌ์„ฑ๋œ ๋ถ„์‚ฐ ํ›ˆ๋ จ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๋ฐ ๋‚ด์žฅ๋œ ๋ณต์›๋ ฅ์„ ํ†ตํ•ด ์ˆ˜์ฒœ [โ€ฆ]

Amazon SageMaker Lakehouse, Amazon Redshift์™€ ์ œ๋กœ ETL ํ†ตํ•ฉ ์ง€์›

์˜ค๋Š˜ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์˜ ์ œ๋กœ ETL ํ†ตํ•ฉ์„ ์œ„ํ•ด Amazon SageMaker Lakehouse์™€ Amazon Redshift ์ง€์›์˜ ์ •์‹ ์ถœ์‹œ๋ฅผ ๋ฐœํ‘œํ–ˆ์Šต๋‹ˆ๋‹ค. Amazon SageMaker Lakehouse๋Š” Amazon Simple Storage Service(Amazon S3) ๋ฐ์ดํ„ฐ ๋ ˆ์ดํฌ์™€ Amazon Redshift ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค ์ „๋ฐ˜์˜ ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ฉํ•˜์—ฌ ๋‹จ์ผ ๋ฐ์ดํ„ฐ ์‚ฌ๋ณธ์— ๊ฐ•๋ ฅํ•œ ๋ถ„์„ ๋ฐ AI/ML ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. SageMaker Lakehouse๋Š” ๋ชจ๋“  Apache Iceberg ํ˜ธํ™˜ ๋„๊ตฌ ๋ฐ ์—”์ง„์„ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ [โ€ฆ]

Amazon SageMaker Lakehouse, Amazon Athena ํ†ตํ•ฉ ์ฟผ๋ฆฌ๋ฅผ ์œ„ํ•œ ์•ก์„ธ์Šค ์ œ์–ด ๊ธฐ๋Šฅ ์ถœ์‹œ

์˜ค๋Š˜ ๋ฐ์ดํ„ฐ, ๋ถ„์„ ๋ฐ AI๋ฅผ ์œ„ํ•œ ํ†ตํ•ฉ ํ”Œ๋žซํผ์ธ ์ฐจ์„ธ๋Œ€ Amazon SageMaker๋ฅผ ๋ฐœํ‘œํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ํ”Œ๋žซํผ์€ ๋„๋ฆฌ ์ฑ„ํƒ๋œ AWS ๊ธฐ๊ณ„ ํ•™์Šต ๋ฐ ๋ถ„์„ ๊ธฐ๋Šฅ์„ ํ†ตํ•ฉํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์—์„œ ํ•ต์‹ฌ์€ ๋ฐ์ดํ„ฐ ํƒ์ƒ‰, ์ค€๋น„ ๋ฐ ํ†ตํ•ฉ, ๋น… ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ, ๋น ๋ฅธ SQL ๋ถ„์„, ๋ชจ๋ธ ๊ฐœ๋ฐœ ๋ฐ ํ›ˆ๋ จ, ์ƒ์„ฑํ˜• AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ์„ ์œ„ํ•œ ๋‹จ์ผ ๋ฐ์ดํ„ฐ ๋ฐ AI ๊ฐœ๋ฐœ ํ™˜๊ฒฝ์ธ SageMaker Uni๏ฌed Studio(ํ‰๊ฐ€ํŒ)์ž…๋‹ˆ๋‹ค. ์ด๋ฒˆ [โ€ฆ]

Amazon SageMaker Lakehouse์™€ Amazon DynamoDB ์ œ๋กœ ETL ํ†ตํ•ฉ ๊ธฐ๋Šฅ ์ถœ์‹œ

์„œ๋ฒ„๋ฆฌ์Šค NoSQL ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์ธ Amazon DynamoDB๋Š” 100๋งŒ ๋ช… ์ด์ƒ์˜ ๊ณ ๊ฐ์ด ์ง€์—ฐ ์‹œ๊ฐ„์ด ์งง์€ ๋Œ€๊ทœ๋ชจ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ตฌ์ถ•ํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉํ•˜๋Š” ์†”๋ฃจ์…˜์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๊ฐ€ ๋Š˜์–ด๋‚˜๋ฉด์„œ ์กฐ์ง์€ ์šด์˜ ๋ฐ์ดํ„ฐ์—์„œ ๊ฐ€์น˜ ์žˆ๋Š” ์ธ์‚ฌ์ดํŠธ๋ฅผ ์ถ”์ถœํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๋Š์ž„์—†์ด ๋ชจ์ƒ‰ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ, ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ๋Š” ๋Œ€๋ถ€๋ถ„ DynamoDB์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ Amazon DynamoDB์— ์žˆ๋Š” ํ•ด๋‹น ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ ๋ฐ ๊ธฐ๊ณ„ ํ•™์Šต(ML) ์‚ฌ์šฉ ์‚ฌ๋ก€์— ์ตœ๋Œ€ํ•œ ํ™œ์šฉํ•˜๊ธฐ ์œ„ํ•ด ๊ณ ๊ฐ์ด ์‚ฌ์šฉ์ž ์ง€์ • ๋ฐ์ดํ„ฐ [โ€ฆ]

Amazon SageMaker Lakehouse ์ •์‹ ์ถœ์‹œ: ๋ถ„์„ ๋ฐ AI/ML ๊ฐ„์†Œํ™”

์˜ค๋Š˜ Amazon SageMaker Lakehouse์˜ ์ •์‹ ์ถœ์‹œ๋ฅผ ๋ฐœํ‘œํ•ฉ๋‹ˆ๋‹ค. Amazon SageMaker Lakehouse๋Š” Amazon Simple Storage Service(Amazon S3) ๋ฐ์ดํ„ฐ ๋ ˆ์ดํฌ์™€ Amazon Redshift ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค ์ „๋ฐ˜์˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ฉํ•˜์—ฌ ๋‹จ์ผ ๋ฐ์ดํ„ฐ ์‚ฌ๋ณธ์„ ๋Œ€์ƒ์œผ๋กœ ๊ฐ•๋ ฅํ•œ ๋ถ„์„, ์ธ๊ณต ์ง€๋Šฅ ๋ฐ ๊ธฐ๊ณ„ ํ•™์Šต(AI/ML) ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. SageMaker Lakehouse๋Š” ๋ฐ์ดํ„ฐ, ๋ถ„์„ ๋ฐ AI๋ฅผ ์œ„ํ•œ ํ†ตํ•ฉ ํ”Œ๋žซํผ์ธ ์ฐจ์„ธ๋Œ€ Amazon SageMaker์˜ ์ผ๋ถ€๋กœ, ๋„๋ฆฌ ์ฑ„ํƒ๋œ [โ€ฆ]

์ฐจ์„ธ๋Œ€ Amazon SageMaker ๋ฐ์ดํ„ฐ ๋ฐ AI ๊ฑฐ๋ฒ„๋„Œ์Šค: ๋ฐ์ดํ„ฐ์™€ AI๋ฅผ ์•ˆ์ „ํ•˜๊ฒŒ ๊ฒ€์ƒ‰, ๊ด€๋ฆฌ ๋ฐ ํ˜‘์—…

์˜ค๋Š˜ ๋ฐ์ดํ„ฐ, ๋ถ„์„ ๋ฐ AI๋ฅผ ์œ„ํ•œ ํ†ตํ•ฉ ํ”Œ๋žซํผ์ธ ์ฐจ์„ธ๋Œ€ Amazon SageMaker๋ฅผ ๋ฐœํ‘œํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ํ”Œ๋žซํผ์€ ๋„๋ฆฌ ์ฑ„ํƒ๋œ AWS ๊ธฐ๊ณ„ ํ•™์Šต ๋ฐ ๋ถ„์„ ๊ธฐ๋Šฅ์„ ํ†ตํ•ฉํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ฐœํ‘œ์—๋Š” ๋ฐ์ดํ„ฐ ๋ฐ AI ์ž์‚ฐ ๊ด€๋ฆฌ๋ฅผ ๊ฐ„์†Œํ™”ํ•˜๋Š” ๊ธฐ๋Šฅ ์„ธํŠธ์ธ Amazon SageMaker ๋ฐ์ดํ„ฐ ๋ฐ AI ๊ฑฐ๋ฒ„๋„Œ์Šค๊ฐ€ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ํŒ€์€ ์กฐ์ง ์ „์ฒด์—์„œ ๋ฐ์ดํ„ฐ ๋ฐ AI ๋ชจ๋ธ์„ ์ฐพ๊ณ , ์•ก์„ธ์Šคํ•˜๊ณ , ๊ด€๋ จ ํ˜‘์—…์„ ์ง„ํ–‰ํ•  ๋•Œ ์ข…์ข… [โ€ฆ]

์ฐจ์„ธ๋Œ€ Amazon SageMaker ๋ฐ Amazon DataZone์—์„œ ๋ฐ์ดํ„ฐ ์นด๋‹ฌ๋กœ๊ทธ ์ •์‹ ์ถœ์‹œ

์˜ค๋Š˜ 2024๋…„ 6์›” ํ‰๊ฐ€ํŒ ๋ฆด๋ฆฌ์Šค์— ์ด์–ด Amazon DataZone์˜ ๋ฐ์ดํ„ฐ ๊ณ„๋ณด๋ฅผ ์ •์‹ ์ถœ์‹œํ–ˆ๋‹ค๋Š” ์†Œ์‹์„ ๋ฐœํ‘œํ•˜๊ฒŒ ๋˜์–ด ๊ธฐ์ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ์ด ๊ธฐ๋Šฅ์€ ๋ฐ์ดํ„ฐ, ๋ถ„์„ ๋ฐ AI๋ฅผ ์œ„ํ•œ ํ†ตํ•ฉ ํ”Œ๋žซํผ์ธ ์ฐจ์„ธ๋Œ€ Amazon SageMaker์—์„œ ์นดํƒˆ๋กœ๊ทธ ๊ธฐ๋Šฅ์˜ ์ผ๋ถ€๋กœ ํ™•์žฅ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ „ํ†ต์ ์œผ๋กœ ๋น„์ฆˆ๋‹ˆ์Šค ๋ถ„์„๊ฐ€๋“ค์€ ๋ฐ์ดํ„ฐ ์˜ค๋ฆฌ์ง„์„ ๊ฒ€์ฆํ•˜๊ธฐ ์œ„ํ•ด ์ˆ˜๋™ ๋ฌธ์„œํ™” ๋˜๋Š” ๊ฐœ์ธ ์—ฐ๊ฒฐ์— ์˜์กดํ•ด ์™”๊ธฐ ๋•Œ๋ฌธ์— ํ”„๋กœ์„ธ์Šค์— ์ผ๊ด€์„ฑ์ด ์—†๊ณ  ์‹œ๊ฐ„์ด ๋งŽ์ด ๊ฑธ๋ ธ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ [โ€ฆ]

์ฐจ์„ธ๋Œ€ Amazon SageMaker ์†Œ๊ฐœ: ๋ชจ๋“  ๋ฐ์ดํ„ฐ, ๋ถ„์„ ๋ฐ AI๋ฅผ ์œ„ํ•œ ์ค‘์‹ฌ ์„œ๋น„์Šค

์˜ค๋Š˜ ๋ฐ์ดํ„ฐ, ๋ถ„์„ ๋ฐ AI๋ฅผ ์œ„ํ•œ ํ†ตํ•ฉ ํ”Œ๋žซํผ์ธ ์ฐจ์„ธ๋Œ€ Amazon SageMaker๋ฅผ ๋ฐœํ‘œํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ์™„์ „ํžˆ ์ƒˆ๋กœ์šด SageMaker์—๋Š” ๋ฐ์ดํ„ฐ ํƒ์ƒ‰, ์ค€๋น„ ๋ฐ ํ†ตํ•ฉ, ๋น… ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ, ๋น ๋ฅธ SQL ๋ถ„์„, ๊ธฐ๊ณ„ ํ•™์Šต(ML) ๋ชจ๋ธ ๊ฐœ๋ฐœ ๋ฐ ํ›ˆ๋ จ, ์ƒ์„ฑํ˜• AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ์— ํ•„์š”ํ•œ ๊ฑฐ์˜ ๋ชจ๋“  ๊ตฌ์„ฑ ์š”์†Œ๊ฐ€ ํฌํ•จ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ Amazon SageMaker๋Š” Amazon SageMaker AI๋กœ ์ด๋ฆ„์ด ๋ณ€๊ฒฝ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. SageMaker AI๋Š” ์ฐจ์„ธ๋Œ€ SageMaker [โ€ฆ]