Kafka 2

[Kafka] (2) Topic과 Partition

Events, Streams, Topics Events Event란, 과거에 일어난 사실을 뜻한다. Event는 발생함으로 인해 변화된 상태를 가지고 시스템 사이를 오가는 불변의 데이터이다. Streams Event Stream이란, 관련된 Event들을 나타낸다. Topics Event Stream이 Kafka에서는 Topic이란 이름으로 저장된다. Kafka에서는 Topic이 구체화된 Event Stream을 뜻한다. Topic은 데이터베이스의 테이블이나 파일 시스템의 폴더들 같이 연관된 Event를 묶어 영속화한다. Topic은 Kafka에서 Producer 와 Consumer 를 분리하는 중요한 컨셉이다. Producer 는 Topic에 Message(Event)를 저장 (Push) 하고 Cons..

[Kafka] (1) Kafka란?

Kafka란? Kafka는 Distributed Event Streaming Platform(분산 이벤트 스트리밍 플랫폼)이다. Publish-Subscribe 모델의 Message Queue이며, 분산에 특화되어 있다. 기본 구조 1.1 Event Event는 Producer와 Consumer가 데이터를 주고 받는 단위이다. 1.2 Topic Event가 쓰이는 곳이다. Topic은 파일시스템의 폴더 또는 디렉토리와 유사하며, 이벤트는 폴더안의 파일과 유사하다. Topic의 개수는 제한이 없고, 이름으로 구분된다. Topic이 다시 특정한 개수의 partitions이 된다. 개수의 명시가 필요하다 1.3 Partition Topic이 나눠지는 단위이다. Partition에 한 번 쓰여진 데이터는 변경이..