CWN(CHANGE WITH NEWS) - 오픈소스 분산데이터 스트리밍 소프트웨어 Apache Kafka 2.3 버전 출시

Apache Kafka 팀은 오픈 소스 분산 데이터 스트리밍 소프트웨어인 Apache Kafka 2.3의 최신 버전을 출시했다.
최신 버전에는 Kafka Core, Connect 및 Streams REST API에 대한 몇가지 개선 사항이 포함되어있다. 또한 새로운 최대 로그 압축 지연이 추가되었으며 SocketServer 프로세서의 파티션 모니터링 및 공정성 개선 등을 개선했다.

IRA는 Kafka가 로그 세그먼트 만 확인해야하는 프로세스를 최적화한다. 이전 버전에서는 로그 복구에 필요한 시간이 로그 수에 비례하지 않았다. Kafka 2.3에서는 플러시되지 않은 로그 세그먼트 수에 비례하여 브로커 시작 시간이 50% 단축 되었다.

Kafka Core는 최소 수의 동기화 복제본을 가진 파티션을 보여주는 메트릭을 추가했다. 이러한 메트릭을 모니터링함으로써 사용자는 복제 부족 상태가 될 것으로 예상되는 파티션을 볼 수 있다. 또한, -under-min-isr 명령 행 플래그가 kafka-topics 명령에 추가되었다. 이를 통해 사용자는 최소의 동기화 복제본 수보다 적은 항목을 쉽게 볼 수 있게 되었다.

이전 버전에서는 최신 키가 작성된 후 1차 근사치의 이전 키 값이 잠시 후에 압축되다. 이번 배포에서는 이전 값을 고수 할 최대 시간을 설정할 수 있다. 새로운 매개 변수 max.log.compation.time.ms는 압축된 주제에서 오래된 값이 지속될 수 있는 기간을 지정한다. 이를 통해 Apache Kafka는 GDPR과 같은 데이터 보존 규정을 준수 할 수 있다.

Apache Kafka 2.3은 새로운 연결에 우선하여 기존 연결을 우선 순위에두고 연결 폭풍에 대한 브로커의 복원력을 향상시킨다. 또한 브로커 설정 당 최대 연결 수를 추가한다.Core Kafka는 Replica Fetcher에서 오류 처리 기능을 개선했다.

Kafka Connect에서는 작업자 작업이 사용 가능한 작업자 노드로 분산된다. 커넥터를 다시 구성하거나 새 커넥터를 배포 할 때 뿐만 아니라 작업자를 추가하거나 제거 할 때 작업을 Connect 클러스터에서 다시 균형을 조정해야한다. 이렇게하면 모든 작업자 노드가 Connect 작업을 공정하게 공유 할 수 있다. Kafka 2.3을 사용하면 구성을 쉽게 변경할 수 있다. 또한 Kafka Connect는 Connect 작업자 로그에 커넥터 컨텍스트를 추가했다.

Kafka Streams에는 주 저장소에 타임 스탬프가 포함된다. 이를 통해 KTables의 순서가 잘못된 메시지를 처리하고 KTables 용 TTL을 구현하는 것과 같은 미래의 기능을 보장 할 수있는 토대가 마련된다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]