Amazon Kinesis๋ฅผ ์ฌ์ฉํ๋ฉด ์ค์๊ฐ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์์ฝ๊ฒ ์์ง, ์ฒ๋ฆฌ ๋ฐ ๋ถ์ํ ์ ์์ผ๋ฏ๋ก ์ ์์ ํต์ฐฐ๋ ฅ์ ํ๋ณดํ๊ณ ์๋ก์ด ์ ๋ณด์ ์ ์ํ๊ฒ ๋์ํ ์ ์์ต๋๋ค. Amazon Kinesis๋ ๋ชจ๋ ๊ท๋ชจ์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ๋น์ฉ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ ์ ์๋ ํต์ฌ ๊ธฐ๋ฅ๊ณผ ๋๋ถ์ด ์ ํ๋ฆฌ์ผ์ด์ ์๊ตฌ ์ฌํญ์ ๊ฐ์ฅ ์ ํฉํ ๋๊ตฌ๋ฅผ ์ ํํ ์ ์๋ ์ ์ฐ์ฑ์ ์ ๊ณตํฉ๋๋ค. Amazon Kinesis์์๋ ์ ํ๋ฆฌ์ผ์ด์ ๋ก๊ทธ, ์น ์ฌ์ดํธ ํด๋ฆญ์คํธ๋ฆผ, IoT ํ ๋ ๋ฉํธ๋ฆฌ ๋ฐ์ดํฐ ๋ฑ๊ณผ ๊ฐ์ ์ค์๊ฐ ๋ฐ์ดํฐ๋ฅผ ๋ฐ์ดํฐ๋ฒ ์ด์ค, ๋ฐ์ดํฐ ๋ ์ดํฌ, ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ก ์์งํ๊ฑฐ๋ ์ด๋ฌํ ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ์ฌ ์์ฒด์ ์ผ๋ก ์ค์๊ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌ์ถํ ์ ์์ต๋๋ค. Amazon Kinesis๋ฅผ ์ฌ์ฉํ๋ฉด ๋ชจ๋ ๋ฐ์ดํฐ๊ฐ ์์ง๋ ํ์์ผ ์ฒ๋ฆฌ๋ฅผ ์์ํ ์ ์๋ ๊ฒ์ด ์๋๋ผ ๋ฐ์ดํฐ๊ฐ ์์ ๋๋ ๋๋ก ์ฒ๋ฆฌ ๋ฐ ๋ถ์ํ์ฌ ์ค์๊ฐ์ผ๋ก ๋์ํ ์ ์์ต๋๋ค.
Amazon Kinesis๋ฅผ ์ฌ์ฉํ๋ฉด ์ค์๊ฐ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์์ง, ๋ฒํผ๋ง ๋ฐ ์ฒ๋ฆฌํ ์ ์์ผ๋ฏ๋ก ๋ช ์๊ฐ ๋๋ ๋ฉฐ์น ์ด ์๋๋ผ ๋ช ์ด ๋๋ ๋ช ๋ถ ๋ง์ ํต์ฐฐ๋ ฅ์ ์ป์ ์ ์์ต๋๋ค.
Amazon Kinesis๋ ์์ ๊ด๋ฆฌํ์ผ๋ก ์คํธ๋ฆฌ๋ฐ ์ ํ๋ฆฌ์ผ์ด์
์ ์ด์ํ๋ฏ๋ก ์ฌ์ฉ์๋ ์ธํ๋ผ๋ฅผ ๊ด๋ฆฌํ ํ์๊ฐ ์์ต๋๋ค.
Amazon Kinesis๋ ๋ชจ๋ ๊ท๋ชจ์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๊ณ ๋งค์ฐ ์งง์ ์ง์ฐ ์๊ฐ์ผ๋ก ์๋ง์ ์์ค์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค.
ํ์ค SQL์ ํตํด ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ๊ฐํธํ๊ฒ ์ฒ๋ฆฌ ๋ฐ ๋ถ์
์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌ ๋ฐ ๋ถ์ํ๋ ์ฌ์ฉ์ ์ง์ ์ ํ๋ฆฌ์ผ์ด์
์ ๊ตฌ์ถ
Amazon Kinesis์์๋ ๊ธฐ์กด์ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์์ ๋ฐฐ์น ์ฒ๋ฆฌ๋ฅผ ์ฌ์ฉํ๊ฑฐ๋ ํ๋ก ํ๋ ์์ํฌ๋ฅผ ์ฌ์ฉํ์ฌ ๋ถ์ํ๋ ๋ฐ์ดํฐ์ ๋ํด ์ค์๊ฐ ๋ถ์์ ์ํํ ์ ์์ต๋๋ค. ๊ฐ์ฅ ์ผ๋ฐ์ ์ธ ์ฌ์ฉ ์ฌ๋ก๋ก๋ ๋ฐ์ดํฐ ๋ ์ดํฌ, ๋ฐ์ดํฐ ๊ณผํ ๋ฐ ๊ธฐ๊ณ ํ์ต์ ๋ค ์ ์์ต๋๋ค. Kinesis Firehose๋ฅผ ์ฌ์ฉํ์ฌ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ง์์ ์ผ๋ก S3 ๋ฐ์ดํฐ ๋ ์ดํฌ๋ก ๋ก๋ํ ์ ์์ต๋๋ค. ๋ํ, ์๋ก์ด ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ ์ ์๊ฒ ๋จ์ ๋ฐ๋ผ ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ์ ์ข ๋ ๋น๋ฒํ๊ฒ ์
๋ฐ์ดํธ๋ฅผ ํ์ฌ ๊ฒฐ๊ณผ์ ์ ํ์ฑ๊ณผ ์ ๋ขฐ์ฑ์ ๋ณด์ฅํ ์ ์์ต๋๋ค. ์ค์ต ์์ต์ ์ฌ์ฉํด ๋ณด๊ธฐ »
Zillow๋ Kinesis Streams๋ฅผ ์ฌ์ฉํ์ฌ ๊ณต๊ณต ๊ธฐ๋ก ๋ฐ์ดํฐ์ MLS ๋ชฉ๋ก์ ์์งํ๊ณ ๊ฑฐ์ ์ค์๊ฐ์ผ๋ก ์ฃผํ ๊ฐ๊ฒฉ ์ถ์ ์น๋ฅผ ์
๋ฐ์ดํธํ๋ฏ๋ก ์ฃผํ ๊ตฌ๋งค์์ ํ๋งค์๊ฐ ์ต์ ์ฃผํ ๊ฐ๊ฒฉ ์ถ์ ์น๋ฅผ ํ์ธํ ์ ์์ต๋๋ค. ๋ํ, Zillow๋ Kinesis Firehose๋ฅผ ์ฌ์ฉํ์ฌ ๋์ผํ ๋ฐ์ดํฐ๋ฅผ S3 ๋ฐ์ดํฐ ๋ ์ดํฌ๋ก ์ ์กํ๋ฏ๋ก ๋ชจ๋ ์ ํ๋ฆฌ์ผ์ด์
์์ ๊ฐ์ฅ ์ต์ ์ ๋ณด๋ฅผ ํ์ฉํ ์ ์์ต๋๋ค. ์ฌ๋ก ์ฐ๊ตฌ ์ฝ๊ธฐ »
Hearst๋ Kinesis Streams, Kinesis Firehose ๋ฐ Amazon Elasticsearch Service๋ฅผ ์ฌ์ฉํด ํด๋ฆญ์คํธ๋ฆผ ๋ถ์ ์๋ฃจ์
์ ๊ตฌ์ถํ์ฌ 300๊ฐ๊ฐ ๋๋ ์ ์ธ๊ณ Hearst ์น ์ฌ์ดํธ์์ ๋งค์ผ 30ํ
๋ผ๋ฐ์ดํธ์ ๋ฐ์ดํฐ๋ฅผ ์ ์ก ๋ฐ ์ฒ๋ฆฌํฉ๋๋ค. Hearst๋ ์ด ํ๋ซํผ์ผ๋ก ์น ์ฌ์ดํธ ํด๋ฆญ์์ ์ง๊ณ๋ ๋ฐ์ดํฐ๊น์ง ์ ์ฒด ๋ฐ์ดํฐ ์คํธ๋ฆผ์ ๋ช ๋ถ ๋ง์ ํธ์ง์์๊ฒ ์ ๋ฌํ ์ ์์ต๋๋ค. ์ฌ๋ก ์ฐ๊ตฌ ์ฝ๊ธฐ »
์ ํ๋ฆฌ์ผ์ด์ ๋ชจ๋ํฐ๋ง, ์ฌ๊ธฐ ํ์ง, ์ค์๊ฐ ์์ํ์ ๊ฐ์ ์ค์๊ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ Amazon Kinesis๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ฐ๋ฆฌ์ด์ ์๋ ํฌ ์๋ ์ง์ฐ ์๊ฐ์ผ๋ก Kinesis Streams๋ฅผ ์ฌ์ฉํ์ฌ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์์งํ๊ณ , Kinesis Analytics๋ฅผ ์ฌ์ฉํ์ฌ ์ด๋ฅผ ์ฒ๋ฆฌํ๋ฉฐ, Kinesis Streams๋ฅผ ์ฌ์ฉํ์ฌ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ์ดํฐ ์คํ ์ด๋ ์ ํ๋ฆฌ์ผ์ด์ ์ผ๋ก ๋ด๋ณด๋ผ ์ ์์ต๋๋ค. ์ด๋ ๊ณ ๊ฐ, ์ ํ๋ฆฌ์ผ์ด์ ๋ฐ ์ ํ์ด ์ง๊ธ ์ด๋ค ์ํ์ธ์ง ํ์ ํ๊ณ ์ ์ํ๊ฒ ๋์ํ๋ ๋ฐ ๋์์ด ๋ฉ๋๋ค. ์์ธํ ๋ด์ฉ์ ์ด ๋ฐฑ์ ์ฐธ์กฐ »
MLBAM์ Amazon Kinesis๋ฅผ ์ฌ์ฉํด Statcast ์๋น์ค๋ฅผ ๊ตฌ์ถํ์ฌ ๋งค ์์ฆ ํํ๋ฐ์ดํธ ๊ท๋ชจ์ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๊ณ , ํฌ, ๋ฐฉ์ก ์ฌ์
์ ๋ฐ ํ์ด ๋ฉ์ด์ ๋ฆฌ๊ทธ ์ผ๊ตฌ ๊ฒฝ๊ธฐ์ ์ญ๋์ฑ๊ณผ ์ด๋ ๋ฅ๋ ฅ์ ๋ ์ ์ดํดํ ์ ์๋๋ก ์ค์๊ฐ ์ ๋ณด๋ฅผ ์ ๊ณตํฉ๋๋ค. ๋์์ ๋ณด๊ธฐ »
Netflix๋ Amazon Kinesis๋ฅผ ์ฌ์ฉํ์ฌ ๋ชจ๋ ์ ํ๋ฆฌ์ผ์ด์
๊ฐ ํต์ ์ ๋ชจ๋ํฐ๋งํจ์ผ๋ก์จ ๋ฌธ์ ๋ฅผ ์ ์ํ๊ฒ ํ์งํ๊ณ ํด๊ฒฐํ์ฌ ๊ณ ๊ฐ์ ์ํ ๋์ ์๋น์ค ๊ฐ๋ ์๊ฐ๊ณผ ๊ฐ์ฉ์ฑ์ ๋ณด์ฅํฉ๋๋ค. ์ฌ๋ก ์ฐ๊ตฌ ์ฝ๊ธฐ »
Amazon Kinesis๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ์ ์ ํ, ๋ด์ฅ ์ผ์, TV ์
ํฑ๋ฐ์ค ๋ฑ๊ณผ ๊ฐ์ IoT ๋๋ฐ์ด์ค์์ ์ ์ก๋๋ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ๊ทธ๋ฐ ๋ค์ ์ผ์๊ฐ ํน์ ์ด์ ์๊ณ๊ฐ์ ์ด๊ณผํ๋ ๊ฒฝ์ฐ ์ด ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ์ฌ ์ค์๊ฐ ์๋ฆผ์ ์ ์กํ๊ฑฐ๋ ํ๋ก๊ทธ๋๋ฐ ๋ฐฉ์์ผ๋ก ๋ค๋ฅธ ์กฐ์น๋ฅผ ์ทจํ ์ ์์ต๋๋ค. AWS ์ํ IoT ๋ถ์ ์ฝ๋๋ฅผ ์ฌ์ฉํ์ฌ ์ ํ๋ฆฌ์ผ์ด์
์ ๊ตฌ์ถํฉ๋๋ค. ์ฒ์๋ถํฐ ์๋ก ์์ํ ํ์๊ฐ ์์ต๋๋ค. ์ํ ์ฝ๋ ๋ค์ด๋ก๋ »
Sonos๋ Amazon Kinesis๋ฅผ ์ฌ์ฉํ์ฌ ๋ฌด์ hi-fi ์ค๋์ค ๋๋ฐ์ด์ค์์ ์ฃผ๋น 10์ต ๊ฑด์ ์ด๋ฒคํธ๋ฅผ ๋ชจ๋ํฐ๋งํ๊ณ , ๊ณ ๊ฐ์๊ฒ ๋ ๋ฐ์ด๋ ๊ฐ์ ๊ฒฝํ์ ์ ๊ณตํฉ๋๋ค. re:Invent ์ธ์
๋ณด๊ธฐ »
Hello Inc.๋ Kinesis Streams๋ฅผ ์ฌ์ฉํ์ฌ ๋งคํธ๋ฆฌ์ค์ ๋ด์ฅ๋ ์ผ์์์ ์ค์๊ฐ ๋ฐ์ดํฐ๋ฅผ ์์ง ๋ฐ ์ฒ๋ฆฌํ๊ณ , Kinesis Firehose๋ฅผ ์ฌ์ฉํ์ฌ ์ฒ๋ฆฌ๋ ์ ๋ณด๋ฅผ Amazon Redshift๋ก ๋ก๋ํฉ๋๋ค. Hello์ ๊ณ ๊ฐ์ ์ค๋ด ์จ๋์ ์ต๋์ ๊ฐ์ด ์๋ฉด์ ์ํฅ์ ์ฃผ๋ ์กฐ๊ฑด๊ณผ ์๋ฉด ํจํด์ ๋ชจ๋ํฐ๋งํจ์ผ๋ก์จ ๊ฒฐ๊ณผ์ ์ผ๋ก ์๋ฉด์ ์ง์ ๋์ผ ์ ์์ต๋๋ค. ์ฌ๋ก ์ฐ๊ตฌ ์ฝ๊ธฐ »
Amazon Kinesis์ ๋ชจ๋ ์๋ก์ด ๊ธฐ๋ฅ์ ๊ดํ ์ ๋ณด๋ ์๋ก์ด ์์ ํ์ด์ง ์ฐธ์กฐ »
Kinesis Streams๋ ์๋น์๋ฅผ ์ํ ๋ช ๊ฐ์ง ์คํธ๋ฆฌ๋ฐ ์ฌ์ฉ ์ฌ๋ก๋ฅผ ์ง์ํ๋ฉฐ ์ด์ Kinesis Streams์ ์๋ฒ ์ธก ์ํธํ(SSE) ์ง์์ด ์ถ๊ฐ๋์ด ์๋น์ค์์ ์ ์ก ๋ฐ์ดํฐ๋ฅผ ์ข ๋ ํจ๊ณผ์ ์ผ๋ก ๋ณดํธํ ์ ์๊ฒ ๋์์ต๋๋ค. ์ด ์๋ก์ด Kinesis Streams ๊ธฐ๋ฅ์ผ๋ก ์ด์ ๋ฐ์ดํฐ ๋ณด์์ ๊ฐํํ๊ณ ๊ธฐ์
์ ๋ฐ์ดํฐ ์คํธ๋ฆฌ๋ฐ ์๊ตฌ์ ๊ด๋ จ๋ ๋ชจ๋ ๊ท์ ๋ฐ ๊ท์ ์ค์ ์๊ตฌ ์ฌํญ์ ์ถฉ์กฑํ ์ ์์ต๋๋ค.
ํ
์คํธ ๋ฐ์ดํฐ๋ฅผ ์์ฑํ์ฌ Amazon Kinesis๋ก ์ ์กํ๋ ์ฌ์ฉ์ ์นํ์ ์ธ ๋๊ตฌ๊ฐ ์๋ค๋ฉด ์ผ๋ง๋ ์ข์๊น์? ์ด์ Amazon Kinesis Data Generator(KDG)๋ฅผ ์ฌ์ฉํ๋ฉด ๋ฉ๋๋ค.
Amazon Kinesis Firehose๋ ์ค์๊ฐ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ Amazon S3, Amazon Redshift ๋๋ Amazon Elasticsearch Service(Amazon ES)์ ๊ฐ์ ๋์์ ์ ์กํ๋ ์์ ๊ด๋ฆฌํ ์๋น์ค์
๋๋ค. ์ด ๊ฒ์๋ฌผ์์๋ ์์ ๋๋ ์์ค ๋ฐ์ดํฐ๋ฅผ ์ํํ๊ฒ ๋ณํํ๊ณ ๋ณํ๋ ๋ฐ์ดํฐ๋ฅผ ๋์์ผ๋ก ์ ์กํ ์ ์๋ ์ ์ก ์คํธ๋ฆผ์ ๋ฐ์ดํฐ ๋ณํ ๊ธฐ๋ฅ์ ์ค๋ช
ํฉ๋๋ค.
์ด ๊ฒ์๋ฌผ์์๋ Amazon Kinesis Analytics์์ ์ ๊ณต๋๋ RANDOM_CUT_FOREST ํจ์๋ฅผ ์ฌ์ฉํ์ฌ ์น ํธ๋ํฝ ์คํธ๋ฆผ์์ ์ค์๊ฐ์ผ๋ก ์ด์ ํญ๋ชฉ์ ํ์งํ๋ ๋ถ์ ํ์ดํ๋ผ์ธ์ ์๊ฐํฉ๋๋ค.
Amazon Kinesis์ ์ค์๊ฐ ์คํธ๋ฆฌ๋ฐ ๋ถ์์ ๊ดํ ๋ธ๋ก๊ทธ ๊ฒ์๋ฌผ์ ์ ์ฒด ๋ชฉ๋ก์ ๋ธ๋ก๊ทธ ๊ฒ์๋ฌผ ํ์ด์ง ์ฐธ์กฐ »
์ฝ๊ฒ Amazon Kinesis๋ฅผ ์์ํ ์ ์์ต๋๋ค. AWS ๊ณ์ ์ ๊ฐ์
ํ๊ฑฐ๋, ์ด๋ฏธ ๊ณ์ ์ด ์๋ค๋ฉด AWS Management Console์ ๋ก๊ทธ์ธํ ํ Amazon Kinesis๋ฅผ ์์ํ๋ฉด ๋ฉ๋๋ค.

