Apache Kafkaยฎ๏ธ ๋น„์šฉ ์ ˆ๊ฐ ๋ฐฉ๋ฒ• ๋ฐ ์ตœ์ ์˜ ๋น„์šฉ ์„ค๊ณ„ ์•ˆ๋‚ด ์›จ๋น„๋‚˜ | ์ž์„ธํžˆ ์•Œ์•„๋ณด๋ ค๋ฉด ์ง€๊ธˆ ๋“ฑ๋กํ•˜์„ธ์š”

Generic

The Data Streaming Revolution: Rise of the Kafka Heroes (2)

๋งŒํ™”์ฑ… ๋ฐ›๊ธฐ

Apache Kafka์™€ ์ด๋ฒคํŠธ ๊ธฐ๋ฐ˜ ์•„ํ‚คํ…์ฒ˜์— ๊ด€์‹ฌ ์žˆ๋Š” ๊ฐœ๋ฐœ์ž์™€ ๊ธฐ์ˆ  ์•„ํ‚คํ…ํŠธ์˜ ์ƒ์ƒ๋ ฅ์„ ์ž๊ทนํ•˜๋Š” ์žฌ๋ฏธ์žˆ๋Š” ๋งŒํ™”์ฑ…. ์‹ ๋ฐœ ์†Œ๋งค์—…๊ณ„์˜ ๊ฑฐ๋ฌผ์ธ NewLimits๋Š” ์ž์ฒด ๊ฐœ๋ฐœํ•œ ETL ํŒŒ์ดํ”„๋ผ์ธ๊ณผ ์—ฐ๊ฒฐ๋˜์ง€ ์•Š์€ ๋ฐ์ดํ„ฐ ์‹œ์Šคํ…œ์„ ๋’ค์„ž์–ด ์‚ฌ์šฉํ•˜๊ณ  ์žˆ์–ด์š”. ๊ทธ ๊ฒฐ๊ณผ, ๋ฐ์ดํ„ฐ ์ „์†ก์ด ๋А๋ฆฌ๊ณ  ๋น„ํšจ์œจ์ ์œผ๋กœ ์ด๋ฃจ์–ด์ ธ ๋‚ด๋ถ€ ํŒ€์˜ ๋ถˆ๋งŒ์€ ์ปค์ง€๊ณ , ํšŒ์‚ฌ์˜ ์ง€์†์ ์ธ ์„ฑ๊ณต์—๋„ ๊ฑธ๋ฆผ๋Œ์ด ๋˜๊ณ  ์žˆ์ฃ .

NewLimits์˜ ํ”„๋กœ๊ทธ๋ž˜๋จธ Ada์™€ ์•„ํ‚คํ…ํŠธ Jax๋Š” ์•ผ๊ฐ„์— ์ง„ํ–‰๋˜๋Š” ์ผ๊ด„ ์ฒ˜๋ฆฌ ์ž‘์—…, ์žฆ์€ ์‹คํŒจ, ์ผ๊ด€์„ฑ ์—†๋Š” ๋ฐ์ดํ„ฐ์˜ ์‹œ๋Œ€๋ฅผ ๋๋‚ด๋Š” ๊ฒƒ์ด ์†Œ์›์ž…๋‹ˆ๋‹ค. ์–ด๋А ๋‚ , ์ƒ์‚ฌ๊ฐ€ ๊ฐ‘์ž๊ธฐ ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ๊ธฐ๋Šฅ ๊ฐœ๋ฐœ์— ์ดˆ์ ์„ ๋งž์ถ˜ ์ƒˆ ํ”„๋กœ์ ํŠธ๋ฅผ Ada์™€ Jax์—๊ฒŒ ๋ฐฐ์ •ํ–ˆ์–ด์š”. ์ด์ œ ๊ทธ๋“ค์€ ์„ ์ž„ ๊ฐœ๋ฐœ์ž์ธ Pat์˜ ์กฐ์‹ฌ์Šค๋Ÿฌ์šด ์กฐ์–ธ์— ๊ท€๋ฅผ ๊ธฐ์šธ์ผ์ง€, ์•„๋‹ˆ๋ฉด ๋Œ€๋‹ดํ•œ ๊ฐ€์ด๋“œ Iris์™€ ํ•จ๊ป˜ ๋ฏธ์ง€์˜ ์„ธ๊ณ„๋กœ ๋‚˜์•„๊ฐˆ์ง€๋ฅผ ๊ฒฐ์ •ํ•ด์•ผ ํ•ด์š”.

Ada์™€ Jax๋Š” NewLimits์˜ ํ˜„์žฌ ์ƒํƒœ๋ฅผ ๊ทธ๋Œ€๋กœ ๋ณด์—ฌ์ฃผ๋Š” ๋А๋ฆฌ๊ณ  ๋น„ํšจ์œจ์ ์ธ ์„ธ๊ณ„์ธ Batchland์—์„œ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ์˜ ๋Œ€๊ฐ€์ธ Iris์˜ ์•ˆ๋‚ด๋ฅผ ๋ฐ›์œผ๋ฉฐ ์ด๊ณณ์ €๊ณณ์„ ํƒํ—˜ํ•ฉ๋‹ˆ๋‹ค. ์ด๋“ค์€ Apache Kafkaยฎ์™€ Confluent๊ฐ€ ์–ด๋–ป๊ฒŒ NewLimits์˜ ์‹ค์‹œ๊ฐ„ ๊ธฐ๋Šฅ์„ ์‹คํ˜„ํ•ด ์ค„ ์ˆ˜ ์žˆ๋Š”์ง€ ์•Œ์•„๋‚ผ ๊ฑฐ์˜ˆ์š”. ์ผ๊ด„ ์ฒ˜๋ฆฌ ๊ฐฑ๋‹จ์ด ๊ณ„ํš์„ ๋ฐฉํ•ดํ•˜๊ธฐ ์ „์— ๊ฐœ๋… ์ฆ๋ช…์„ ๊ตฌ์ถ•ํ•˜๋ ค๋ฉด ์„œ๋‘˜๋Ÿฌ์•ผ ํ•ด์š”!

๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ ํ˜๋ช…์— ๋™์ฐธํ•˜๊ณ  ์‹ถ์œผ์‹ ๊ฐ€์š”? ์ง€๊ธˆ ๋“ฑ๋กํ•˜์—ฌ ์ฝ์–ด๋ณด์„ธ์š”!