Amazon Web Services ํ๊ตญ ๋ธ๋ก๊ทธ
AWS re:Invent 2024 ์ฃผ์ ์ถ์ ์์ ์์ฝ ์ ์ฒด ๋ณด๊ธฐ
AWS re:Invent 2024์ปจํผ๋ฐ์ค๋ 2024๋ 12์ 2์ผ๋ถํฐ 6์ผ๊น์ง ๋ผ์ค๋ฒ ์ด๊ฑฐ์ค์์ ๊ฐ์ต๋ฉ๋๋ค. ์ฃผ์ ํด๋ผ์ฐ๋ ์ปดํจํ ์ด๋ฒคํธ๋ก์ ์ ์ธ๊ณ ํด๋ผ์ฐ๋ ์ปดํจํ ์ปค๋ฎค๋ํฐ๋ฅผ ํ์๋ฆฌ์ ๋ชจ์ ์ผ์ฃผ์ผ ๋์ ๊ธฐ์กฐ ์ฐ์ค, ๊ธฐ์ ์ธ์ , ์ ํ ์ถ์ ๋ฐ ๋คํธ์ํน ๊ธฐํ๋ฅผ ์ ๊ณตํฉ๋๋ค. AWS๋ ์ปจํผ๋ฐ์ค ๊ธฐ๊ฐ ๋์ ์ต์ ํ์ ๊ธฐ์ ๊ณผ ์๋น์ค๋ฅผ ๊ณ์ ๊ณต๊ฐํ๊ณ ์์ผ๋ฉฐ, ์ฌ๊ธฐ์์ ๋ชจ๋ ์ฃผ์ ์ ํ ๋ฐํ๋ฅผ ๊ณ์ ์ ๋ฐ์ดํธํ ์์ ์ ๋๋ค. ์ถ๊ฐ re:Invent ๊ด๋ จ ์๋ฃ: [โฆ]
Amazon SageMaker HyperPod ๋ ์ํผ: ๋ชจ๋ธ ํ๋ จ ๋ฐ ๋ฏธ์ธ ์กฐ์ ๊ฐ์ํ
๋ชจ๋ ๊ธฐ์ ์ ๊ฐ์ถ ๋ฐ์ดํฐ ๊ณผํ์์ ๊ฐ๋ฐ์๊ฐ ์ต์ฒจ๋จ ์ฑ๋ฅ์ผ๋ก ๋ช ๋ถ ๋ง์ ํ์ด๋ฐ์ด์ ๋ชจ๋ธ(FM) ํ๋ จ์ ์์ํ๊ณ ๋ฏธ์ธ ์กฐ์ ํ ์ ์๋๋ก ์ง์ํ๋ Amazon SageMaker HyperPod ๋ ์ํผ์ ์ ์ ์ถ์๋ฅผ ๋ฐํํฉ๋๋ค. ์ด์ Llama 3.1 405B, Llama 3.2 90B, Mixtral 8x22B์ ๊ฐ์ด ๋๋ฆฌ ์ฌ์ฉ๋๋ FM์ ํ๋ จํ๊ณ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐ ์ต์ ํ๋ ๋ ์ํผ์ ์ก์ธ์คํ ์ ์์ต๋๋ค. AWS re:Invent 2023์์๋ SageMaker HyperPod๋ฅผ ์๊ฐํ์ฌ [โฆ]
Amazon SageMaker HyperPod ์์ ๊ฑฐ๋ฒ๋์ค: ๋ชจ๋ธ ๊ฐ๋ฐ์ ์ํ ์ปดํจํ ์ฌ์ฉ ๊ทน๋ํ
์ค๋์ ํ์ต, ๋ฏธ์ธ ์กฐ์ , ์ถ๋ก ๊ณผ ๊ฐ์ ์์ฑํ AI ๋ชจ๋ธ ๊ฐ๋ฐ ์์ ์ ๋ฐ์์ GPU ๋ฐ Tranium ์ฌ์ฉ๋ฅ ์ ์ฝ๊ฒ ์ค์ ์ง์ค์์ผ๋ก ๊ด๋ฆฌํ๊ณ ๊ทน๋ํํ ์ ์๋ ์๋ก์ด ํ์ , Amazon SageMaker HyperPod ์์ ๊ฑฐ๋ฒ๋์ค์ ์ ์ ์ถ์๋ฅผ ๋ฐํํฉ๋๋ค. ๊ณ ๊ฐ๋ค์ ์์ฑํ AI ํ๋ก์ ํธ์ ๋ํ ํฌ์๋ฅผ ๋น ๋ฅด๊ฒ ๋๋ฆฌ๊ณ ์์ง๋ง ์ ํ๋ ์ปดํจํ ๋ฆฌ์์ค๋ฅผ ํจ์จ์ ์ผ๋ก ํ ๋นํ๋ ๋ฐ ์ด๋ ค์์ ๊ฒช๊ณ ์๋ค๊ณ ๋งํฉ๋๋ค. ๋ฆฌ์์ค ํ ๋น์ ์ํ [โฆ]
Amazon SageMaker HyperPod ์ ์ฐ ํธ๋ ์ด๋ ํ๋: ์์ฐ ๋ฐ ์ผ์ ๊ธฐ๋ฐ ๋ชจ๋ธ ํ๋ จ ์ ๊ณต
๋ฐ์ดํฐ ๊ณผํ์๊ฐ ์ผ์ ๊ณผ ์์ฐ ๋ด์์ ๋๊ท๋ชจ ํ์ด๋ฐ์ด์ ๋ชจ๋ธ(FM)์ ํ๋ จํ๊ณ ์ปดํจํ ๊ฐ์ฉ์ฑ์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ จ ํ๋ก์ธ์ค๋ฅผ ๊ด๋ฆฌํ๋ ๋ฐ ๋๋ ๋ช ์ฃผ ๊ฐ์ ๋ ธ๋ ฅ์ ์ ๊ฐํ ์ ์๋๋ก Amazon SageMaker HyperPod ์ ์ฐํ ํ๋ จ ํ๋์ ์ ์ ์ถ์๋ฅผ ์ค๋ ๋ฐํํฉ๋๋ค. AWS re:Invent 2023์์๋ FM์ ํ๋ จํ๋ ๋ฐ ๊ฑธ๋ฆฌ๋ ์๊ฐ์ ์ต๋ 40% ์ค์ด๊ณ ์ฌ์ ๊ตฌ์ฑ๋ ๋ถ์ฐ ํ๋ จ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ฐ ๋ด์ฅ๋ ๋ณต์๋ ฅ์ ํตํด ์์ฒ [โฆ]
Amazon SageMaker Lakehouse, Amazon Redshift์ ์ ๋ก ETL ํตํฉ ์ง์
์ค๋ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ ๋ก ETL ํตํฉ์ ์ํด Amazon SageMaker Lakehouse์ Amazon Redshift ์ง์์ ์ ์ ์ถ์๋ฅผ ๋ฐํํ์ต๋๋ค. Amazon SageMaker Lakehouse๋ Amazon Simple Storage Service(Amazon S3) ๋ฐ์ดํฐ ๋ ์ดํฌ์ Amazon Redshift ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์ ๋ฐ์ ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ํตํฉํ์ฌ ๋จ์ผ ๋ฐ์ดํฐ ์ฌ๋ณธ์ ๊ฐ๋ ฅํ ๋ถ์ ๋ฐ AI/ML ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌ์ถํ ์ ์๋๋ก ์ง์ํฉ๋๋ค. SageMaker Lakehouse๋ ๋ชจ๋ Apache Iceberg ํธํ ๋๊ตฌ ๋ฐ ์์ง์ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ [โฆ]
Amazon SageMaker Lakehouse, Amazon Athena ํตํฉ ์ฟผ๋ฆฌ๋ฅผ ์ํ ์ก์ธ์ค ์ ์ด ๊ธฐ๋ฅ ์ถ์
์ค๋ ๋ฐ์ดํฐ, ๋ถ์ ๋ฐ AI๋ฅผ ์ํ ํตํฉ ํ๋ซํผ์ธ ์ฐจ์ธ๋ Amazon SageMaker๋ฅผ ๋ฐํํ์ต๋๋ค. ์ด ํ๋ซํผ์ ๋๋ฆฌ ์ฑํ๋ AWS ๊ธฐ๊ณ ํ์ต ๋ฐ ๋ถ์ ๊ธฐ๋ฅ์ ํตํฉํฉ๋๋ค. ์ฌ๊ธฐ์์ ํต์ฌ์ ๋ฐ์ดํฐ ํ์, ์ค๋น ๋ฐ ํตํฉ, ๋น ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋น ๋ฅธ SQL ๋ถ์, ๋ชจ๋ธ ๊ฐ๋ฐ ๋ฐ ํ๋ จ, ์์ฑํ AI ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ์ ์ํ ๋จ์ผ ๋ฐ์ดํฐ ๋ฐ AI ๊ฐ๋ฐ ํ๊ฒฝ์ธ SageMaker Uni๏ฌed Studio(ํ๊ฐํ)์ ๋๋ค. ์ด๋ฒ [โฆ]
Amazon SageMaker Lakehouse์ Amazon DynamoDB ์ ๋ก ETL ํตํฉ ๊ธฐ๋ฅ ์ถ์
์๋ฒ๋ฆฌ์ค NoSQL ๋ฐ์ดํฐ๋ฒ ์ด์ค์ธ Amazon DynamoDB๋ 100๋ง ๋ช ์ด์์ ๊ณ ๊ฐ์ด ์ง์ฐ ์๊ฐ์ด ์งง์ ๋๊ท๋ชจ ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌ์ถํ๊ธฐ ์ํด ์ฌ์ฉํ๋ ์๋ฃจ์ ์ ๋๋ค. ๋ฐ์ดํฐ๊ฐ ๋์ด๋๋ฉด์ ์กฐ์ง์ ์ด์ ๋ฐ์ดํฐ์์ ๊ฐ์น ์๋ ์ธ์ฌ์ดํธ๋ฅผ ์ถ์ถํ๋ ๋ฐฉ๋ฒ์ ๋์์์ด ๋ชจ์ํ๊ณ ์์ผ๋ฉฐ, ์ด๋ฌํ ๋ฐ์ดํฐ๋ ๋๋ถ๋ถ DynamoDB์ ์ ์ฅ๋ฉ๋๋ค. ๊ทธ๋ฌ๋ Amazon DynamoDB์ ์๋ ํด๋น ๋ฐ์ดํฐ๋ฅผ ๋ถ์ ๋ฐ ๊ธฐ๊ณ ํ์ต(ML) ์ฌ์ฉ ์ฌ๋ก์ ์ต๋ํ ํ์ฉํ๊ธฐ ์ํด ๊ณ ๊ฐ์ด ์ฌ์ฉ์ ์ง์ ๋ฐ์ดํฐ [โฆ]
Amazon SageMaker Lakehouse ์ ์ ์ถ์: ๋ถ์ ๋ฐ AI/ML ๊ฐ์ํ
์ค๋ Amazon SageMaker Lakehouse์ ์ ์ ์ถ์๋ฅผ ๋ฐํํฉ๋๋ค. Amazon SageMaker Lakehouse๋ Amazon Simple Storage Service(Amazon S3) ๋ฐ์ดํฐ ๋ ์ดํฌ์ Amazon Redshift ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์ ๋ฐ์ ๋ฐ์ดํฐ๋ฅผ ํตํฉํ์ฌ ๋จ์ผ ๋ฐ์ดํฐ ์ฌ๋ณธ์ ๋์์ผ๋ก ๊ฐ๋ ฅํ ๋ถ์, ์ธ๊ณต ์ง๋ฅ ๋ฐ ๊ธฐ๊ณ ํ์ต(AI/ML) ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌ์ถํ ์ ์๋๋ก ์ง์ํฉ๋๋ค. SageMaker Lakehouse๋ ๋ฐ์ดํฐ, ๋ถ์ ๋ฐ AI๋ฅผ ์ํ ํตํฉ ํ๋ซํผ์ธ ์ฐจ์ธ๋ Amazon SageMaker์ ์ผ๋ถ๋ก, ๋๋ฆฌ ์ฑํ๋ [โฆ]
์ฐจ์ธ๋ Amazon SageMaker ๋ฐ์ดํฐ ๋ฐ AI ๊ฑฐ๋ฒ๋์ค: ๋ฐ์ดํฐ์ AI๋ฅผ ์์ ํ๊ฒ ๊ฒ์, ๊ด๋ฆฌ ๋ฐ ํ์
์ค๋ ๋ฐ์ดํฐ, ๋ถ์ ๋ฐ AI๋ฅผ ์ํ ํตํฉ ํ๋ซํผ์ธ ์ฐจ์ธ๋ Amazon SageMaker๋ฅผ ๋ฐํํ์ต๋๋ค. ์ด ํ๋ซํผ์ ๋๋ฆฌ ์ฑํ๋ AWS ๊ธฐ๊ณ ํ์ต ๋ฐ ๋ถ์ ๊ธฐ๋ฅ์ ํตํฉํฉ๋๋ค. ์ด ๋ฐํ์๋ ๋ฐ์ดํฐ ๋ฐ AI ์์ฐ ๊ด๋ฆฌ๋ฅผ ๊ฐ์ํํ๋ ๊ธฐ๋ฅ ์ธํธ์ธ Amazon SageMaker ๋ฐ์ดํฐ ๋ฐ AI ๊ฑฐ๋ฒ๋์ค๊ฐ ํฌํจ๋ฉ๋๋ค. ๋ฐ์ดํฐ ํ์ ์กฐ์ง ์ ์ฒด์์ ๋ฐ์ดํฐ ๋ฐ AI ๋ชจ๋ธ์ ์ฐพ๊ณ , ์ก์ธ์คํ๊ณ , ๊ด๋ จ ํ์ ์ ์งํํ ๋ ์ข ์ข [โฆ]
์ฐจ์ธ๋ Amazon SageMaker ๋ฐ Amazon DataZone์์ ๋ฐ์ดํฐ ์นด๋ฌ๋ก๊ทธ ์ ์ ์ถ์
์ค๋ 2024๋ 6์ ํ๊ฐํ ๋ฆด๋ฆฌ์ค์ ์ด์ด Amazon DataZone์ ๋ฐ์ดํฐ ๊ณ๋ณด๋ฅผ ์ ์ ์ถ์ํ๋ค๋ ์์์ ๋ฐํํ๊ฒ ๋์ด ๊ธฐ์ฉ๋๋ค. ๋ํ ์ด ๊ธฐ๋ฅ์ ๋ฐ์ดํฐ, ๋ถ์ ๋ฐ AI๋ฅผ ์ํ ํตํฉ ํ๋ซํผ์ธ ์ฐจ์ธ๋ Amazon SageMaker์์ ์นดํ๋ก๊ทธ ๊ธฐ๋ฅ์ ์ผ๋ถ๋ก ํ์ฅ๋์์ต๋๋ค. ์ ํต์ ์ผ๋ก ๋น์ฆ๋์ค ๋ถ์๊ฐ๋ค์ ๋ฐ์ดํฐ ์ค๋ฆฌ์ง์ ๊ฒ์ฆํ๊ธฐ ์ํด ์๋ ๋ฌธ์ํ ๋๋ ๊ฐ์ธ ์ฐ๊ฒฐ์ ์์กดํด ์๊ธฐ ๋๋ฌธ์ ํ๋ก์ธ์ค์ ์ผ๊ด์ฑ์ด ์๊ณ ์๊ฐ์ด ๋ง์ด ๊ฑธ๋ ธ์ต๋๋ค. ๋ฐ์ดํฐ [โฆ]
์ฐจ์ธ๋ Amazon SageMaker ์๊ฐ: ๋ชจ๋ ๋ฐ์ดํฐ, ๋ถ์ ๋ฐ AI๋ฅผ ์ํ ์ค์ฌ ์๋น์ค
์ค๋ ๋ฐ์ดํฐ, ๋ถ์ ๋ฐ AI๋ฅผ ์ํ ํตํฉ ํ๋ซํผ์ธ ์ฐจ์ธ๋ Amazon SageMaker๋ฅผ ๋ฐํํ๊ฒ ์ต๋๋ค. ์์ ํ ์๋ก์ด SageMaker์๋ ๋ฐ์ดํฐ ํ์, ์ค๋น ๋ฐ ํตํฉ, ๋น ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋น ๋ฅธ SQL ๋ถ์, ๊ธฐ๊ณ ํ์ต(ML) ๋ชจ๋ธ ๊ฐ๋ฐ ๋ฐ ํ๋ จ, ์์ฑํ AI ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ์ ํ์ํ ๊ฑฐ์ ๋ชจ๋ ๊ตฌ์ฑ ์์๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. ํ์ฌ Amazon SageMaker๋ Amazon SageMaker AI๋ก ์ด๋ฆ์ด ๋ณ๊ฒฝ๋์์ต๋๋ค. SageMaker AI๋ ์ฐจ์ธ๋ SageMaker [โฆ]



