Big Data

Apache Nifi

현재의 기업 시스템은 신속하고, 유실 없는 데이터 전송에 대한 요구 사항이 점점 더 중요해 지고 있습니다. BigData 시스템도 마찬가지로 데이터의 전송 경로가 더 복잡해지고, 실시간 처리가 중요해지는 시점에 Apache NiFi는 서로 다른 데이터 소스와 시스템 간의 데이터 이동을 자동화하므로 데이터를 빠르고 쉽고 안전하게 수집할 수 있습니다.

특징

Apache NiFi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링하기 위한 최적의 시스템입니다.
Apache NiFi는 다음과 같은 특징을 가지고 있습니다.

웹기반의 UI 제공
다양한 동적 변경 기능 제공
데이터의 출처 파악
확장을 위한 설계
보안에 대한 고려

웹기반의 UI 제공

설계, 제어, 피드백 및 모니터링을 웹기반으로 볼수 있습니다.

다양한 동적 변경 기능 제공

동적 우선 순위 설정 가능

실시간 Flow 수정 가능

데이터의 출처 파악

시작부터 끝까지 데이터 흐름 추적 가능

데확장을 위한 설계

설계, 제어, 피드백 및 모니터링을 웹기반으로 볼수 있습니다.

보안에 대한 고려

보안을 위한 다양한 제공( SSL, SSH, HTTPS, encrypted content, etc…)

다중 테넌트 권한 및 내부 권한과 정책 관리를 통한 보안

핵심 개념

Apache NiFi의 기본 설계 개념은 FBP(Flow Based Programming)이다. 다음은 주요 Apache NiFi 용어들에 대한 설명입니다.

Nifi 용어	FBP 용어	설명
FlowFile	Information Packet	Apache NiFi에서 데이터를 표현하는 객체로, Key/Value 형태의 데이터 속성(Attribute)과 데이터(Content)를 포함할 수 있다. 데이터는 0바이트 이상의 데이터가 저장될 수 있다. FlowFile를 이용하여 여러 시스템 간의 데이터 이동이 가능하다.
FlowFile Processor	Black Box	FlowFile은 여러 단계에 걸쳐 속성이 추가되거나 내용이 변경될 수 있는데, 이때 사용되는 것이 FlowFile Processor이다. NiFi는 150개 이상의 Processor를 제공하는데, 이를 이용하여 FlowFile을 다양한 시스템으로부터 읽어와 변경, 저장을 할 수 있다.
Connection	Bounded Buffer	Processor 간의 연결을 말하며, NiFi의 Connection은 FlowFile의 대기열(queueing)뿐만 아니라 라우팅, 처리량 제한, 우선순위 제어, 모니터링 등의 강력한 기능을 제공한다.
BFlow Controller	Scheduler	Processor가 어느 간격 또는 시점에 실행하는지 스케줄링한다.
Process Group	subnet	특정 업무, 기능 단위로 여러 Processor를 묶을 수 있으며, Input과 Output 포트를 제공해 Process Group 간의 데이터 이동이 가능하다.