Vector, Fluentd, Logstash, benthos(redpanda connect), bento란?

공부 2026. 4. 8. 00:13

0. 개요

로그(Log)·메트릭(Metric)·이벤트 데이터 파이프라인 구축 시 가장 많이 사용되는 오픈소스 도구 5종에 대한 심층 비교 분석입니다.

도구	언어	라이선스	개발사	핵심 특징	CNCF
Vector	Rust	MPL-2.0	Datadog	고성능 단일 바이너리, VRL 변환 언어, DAG 파이프라인	샌드박스
Fluentd	Ruby/C	Apache 2.0	CNCF/Treasure Data	통합 로깅 레이어, 700+ 플러그인 생태계	졸업(Graduated)
Logstash	JVM/JRuby	Apache 2.0 + Elastic	Elastic	ELK 스택 핵심, Grok 파싱, 200+ 플러그인	❌
Redpanda Connect	Go	Apache 2.0 + RCL	Redpanda Data	구 Benthos, 스트림 프로세서, Bloblang 변환 언어	❌
Bento	Go	MIT (100%)	WarpStream Labs	Benthos 커뮤니티 포크, 완전 오픈소스	❌

1. 각 도구 별 무엇인지

1-1. Vector

Vector

개요

Datadog이 관리하는 고성능 옵저버빌리티 데이터 파이프라인. 2019년 Rust로 개발되어 로그·메트릭·트레이스를 단일 바이너리에서 처리합니다. "하루 500TB+ 처리" 사례를 보유하며, 일일 다운로드 100,000회+를 기록 중입니다.

핵심 아키텍처: DAG 토폴로지

Sources → Transforms → Sinks 구조의 방향성 비순환 그래프(DAG). 각 컴포넌트는 Tokio 비동기 런타임 위에서 독립 태스크로 실행된다.

# Kubernetes 로그 수집 → JSON 파싱 → Elasticsearch 예시
[sources.k8s_logs]
type = "kubernetes_logs"

[transforms.parse_and_enrich]
type = "remap"
inputs = ["k8s_logs"]
source = '''
  structured, err = parse_json(.message)
  if err == null { . = merge(., structured) }
  .level = downcase(string!(.level ?? "info"))
  .environment = get_env_var!("ENVIRONMENT")
'''

[transforms.route_by_level]
type = "route"
inputs = ["parse_and_enrich"]
[transforms.route_by_level.route]
errors = '.level == "error" || .level == "fatal"'

[sinks.elasticsearch_errors]
type = "elasticsearch"
inputs = ["route_by_level.errors"]
endpoints = ["https://es-cluster:9200"]
index = "errors-%Y-%m-%d"
[sinks.elasticsearch_errors.buffer]
type = "disk"
max_size = 536870912  # 512MB

핵심 기능

VRL (Vector Remap Language): Rust로 컴파일되는 타입 안전한 DSL. 200개 이상 내장 함수
E2E Acknowledgment: 싱크 ACK 전까지 소스 오프셋 진행 안 함 → at-least-once 보장
ARC (Adaptive Request Concurrency): AIMD 알고리즘으로 동시 요청 수 자동 조절
내장 단위 테스트: vector test 명령으로 파이프라인 로직 검증
디스크/메모리 버퍼: 용도별 선택 가능

성능 수치

Fluentd 대비 CPU 60~~80% 절감, 메모리 50~~70% 절감 (Kubernetes 마이그레이션 실측)
유휴 시 1530MB 메모리, 중부하 시 ~~100~~200MB
GC 없는 Rust 특성으로 p99 테일 레이턴시가 매우 안정적

장점: 최고 처리량/메모리 효율, 단일 바이너리, VRL 안전성, 내장 테스트

단점: Fluentd 대비 플러그인 생태계 작음, VRL 학습 곡선 존재

1-2. Fluentd

Fluentd

개요

2011년 Treasure Data가 개발, 현재 CNCF Graduated 프로젝트. "통합 로깅 레이어(Unified Logging Layer)"를 표방하며 Ruby + C로 작성되었습니다. 700개 이상의 커뮤니티 플러그인이 가장 큰 강점입니다.

핵심 아키텍처: 태그 기반 라우팅

모든 이벤트는 tag, time, record로 구성. <match> 패턴으로 태그 기반 라우팅.

<!-- Kubernetes EFK 스택 예시 -->
<source>
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/fluent/containers.pos
  tag kubernetes.*
  <parse>
    @type json
    time_key time
    time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>

<filter kubernetes.**>
  @type kubernetes_metadata
</filter>

<match kubernetes.**>
  @type elasticsearch
  host es-cluster
  port 9200
  logstash_format true
  logstash_prefix k8s-logs
  <buffer>
    @type file
    path /var/log/fluent/es-buffer
    flush_interval 10s
    chunk_limit_size 8MB
    overflow_action block
  </buffer>
</match>

버퍼 시스템

Stage(쓰기 중인 청크) → Queue(전송 대기 청크) 2단계 구조. file 버퍼로 at-least-once 보장.

Ruby GIL 제약 극복

<system> workers 4 </system>으로 멀티프로세스 워커 활성화. 각 워커는 독립 Ruby 프로세스로 진정한 멀티코어 병렬 처리.

성능 수치

유휴 시 4080MB, 중부하 시 ~~200~~400MB
Fluent Bit 대비 CPU 4배, 메모리 4~6배 소비
p99 지연시간 2050ms (GC pause 영향)

장점: 700+ 플러그인 생태계, 성숙한 안정성, CNCF Graduated, 유연한 라우팅

단점: Ruby GIL 성능 제약, 높은 리소스 사용량, 고처리량에서 로그 손실, 마이그레이션 권고

1-3. Logstash

Logstash

개요

2010년 Jordan Sissel이 개발, Elastic이 관리하는 ELK 스택의 'L'. JRuby + Java(JVM)로 구현되어 200개 이상의 플러그인과 강력한 Grok 패턴 파싱이 강점입니다.

핵심 아키텍처: 선형 파이프라인

Input → [In-Memory/Persistent Queue] → Filter Workers → Output

# Apache 로그 파싱 → Elasticsearch 예시
input {
  beats { port => 5044 }
}

filter {
  grok { match => { "message" => "%{COMBINEDAPACHELOG}" } }
  date { match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] }
  geoip { source => "clientip" }
  mutate { remove_field => ["message", "beat"] }
}

output {
  elasticsearch {
    hosts => ["https://elasticsearch:9200"]
    index => "apache-logs-%{+YYYY.MM.dd}"
    user => "${ES_USER}"
    password => "${ES_PASSWORD}"
  }
}

성능 튜닝 핵심 설정

# logstash.yml
pipeline.workers: 8        # CPU 코어 수에 맞춤
pipeline.batch.size: 500   # 배치 크기 (처리량 ↑, 메모리 ↑)
pipeline.batch.delay: 5
queue.type: persisted      # 디스크 기반 큐 (at-least-once)
queue.max_bytes: 4gb
dead_letter_queue.enable: true

성능 수치

유휴 시 ~~400~~500MB (JVM Heap 포함), 권장 최소 4GB 힙
JVM GC pause로 p99 지연 50200ms 불규칙 발생 가능
JIT 워밍업 후 처리량 개선, 시작 시간 수십 초 소요

장점: Elastic 스택 완벽 통합, 강력한 Grok 파싱, 성숙한 플러그인, DLQ 지원

단점: JVM 메모리 최소 4GB+, 높은 지연시간 불규칙성, 무거운 컨테이너 리소스

1-4. Benthos → Redpanda Connect → Bento 역사

Benthos 인수 사건 전말

Benthos의 탄생 (2015~2024)

Ashley Jeffs가 2015년 개인 프로젝트로 시작. Go 언어 기반 경량 스트림 프로세서로 7년간 3,500+ 커밋, 8,000+ GitHub 스타를 달성했습니다.

인수와 논란 (2024년 5월 30일)

Redpanda Data가 Benthos를 인수, 발표 후 12시간 이내에 다음 조치가 단행되었다:

시간	사건
발표 직후	GitHub 레포 `benthosdev/benthos` → `redpanda-data/connect` 이전
수 시간 내	benthos.dev → Redpanda 도메인으로 리디렉션
12시간 내	프로젝트명 공식 "Redpanda Connect"로 변경
12시간 내	snowflake_put, splunk 커넥터 유료 라이선스(RCL)로 변경
24시간 내	WarpStream 팀이 "Bento" 포크 생성 발표

수많은 외부 기여자들의 MIT 코드가 동의 없이 상업 라이선스로 재배포된 것이 핵심 논란이었습니다. Hacker News에서 큰 반향을 일으켰으며, HashiCorp(Terraform→BSL), Redis Labs와 함께 "오픈소스 세탁" 논쟁의 대표 사례가 되었습니다.

현재 구도 (2025 기준)

Benthos (원본, 2015~2024)
    │
    ├──▶ Redpanda Connect (상업화)
    │     - 300+ 커넥터
    │     - 일부 커넥터 유료(RCL)
    │     - Redpanda 스트리밍 플랫폼 통합
    │
    └──▶ Bento (MIT 포크, WarpStream)
          - 100% MIT 라이선스 영구 보장
          - 커뮤니티 거버넌스 지향

1-5. Redpanda Connect (구 Benthos)

Redpanda Connect

개요

Go로 작성된 고성능 스트림 처리 엔진. Kafka Connect 대비 3배 낮은 컴퓨팅 리소스로 동급 처리량을 달성합니다.

핵심 아키텍처: 트랜잭션 모델

Input → [Transaction ACK Protocol] → Processor → Output
         ← backpressure 자동 전파 ←

출력이 성공 ACK를 받기 전까지 입력에 ACK를 보내지 않아 디스크 영속화 없이 at-least-once 보장.

Bloblang — 전용 매핑 언어

pipeline:
  processors:
    - bloblang: |
        root.order_id = uuid_v4()
        root.customer_email = this.customer.email.lowercase()
        root.total = this.items.map_each(i -> i.price * i.qty).sum()
        root.tier = match this.total {
          this >= 1000000 => "enterprise",
          this >= 100000  => "large",
          _               => "standard"
        }
        root.processed_at = now()

Kafka → HTTP 보강 → Elasticsearch 예시

input:
  kafka:
    addresses: ["kafka:9092"]
    topics: ["orders"]
    consumer_group: "connect-consumer"

pipeline:
  processors:
    - bloblang: |
        root = this
        root.processed_at = now()
    - branch:
        request_map: 'root.url = "https://api.users.com/" + this.user_id'
        processors:
          - http:
              url: ${! json("url") }
              verb: GET
        result_map: 'root.user_tier = this.tier'

output:
  elasticsearch:
    urls: ["https://elasticsearch:9200"]
    index: "orders-${! timestamp_unix() / 86400 }"

성능 수치

유휴 시 1020MB, 단일 바이너리 ~128MB
Go GC pause 짧음 (보통 <1ms), p99 1020ms
Kafka Connect 대비 3배 낮은 CPU 사용

장점: 낮은 리소스, 트랜잭션 모델, 300+ 커넥터, Bloblang 강력한 변환, 단일 바이너리

단점: 일부 커넥터 유료(RCL), 라이선스 변경으로 커뮤니티 신뢰 손상, 상태 처리 제한

1-6. Bento

Bento

개요

WarpStream Labs가 Benthos 인수 발표 24시간 이내에 MIT 라이선스 버전을 포크하여 공개. "100% MIT 라이선스 영구 보장"이 핵심 가치이며 Benthos의 철학을 계승합니다.

Redpanda Connect와의 차이

항목	Redpanda Connect	Bento
라이선스	Apache 2.0 + RCL (일부 유료)	100% MIT
관리 주체	Redpanda Data (기업)	WarpStream Labs + 커뮤니티
커넥터 수	300+	Benthos 수준 (MIT 한정)
엔터프라이즈 지원	Redpanda EE 구독	없음
설정 호환성	높음 (Benthos 계승)	높음 (Benthos 계승)

Bento 파이프라인 예시 (Benthos 설정과 호환)

input:
  kafka:
    addresses: ["kafka:9092"]
    topics: ["application-logs"]
    consumer_group: "bento-archiver"
    batching:
      count: 1000
      period: 10s

pipeline:
  processors:
    - bloblang: |
        root = this
        root.archived_at = now()

output:
  aws_s3:
    bucket: "log-archive"
    path: 'logs/${! timestamp_format("2006/01/02") }/${! uuid_v4() }.json.gz'
    content_encoding: "gzip"

장점: 100% MIT 영구 보장, Benthos 완전 계승, WarpStream 제품 기반으로 유지 동기 있음

단점: WarpStream 단일 기업 의존, Redpanda Connect 대비 커넥터 수 적을 수 있음, 엔터프라이즈 지원 없음

2. 어떤 용도로 사용하는지

용도	Vector	Fluentd	Logstash	Redpanda Connect	Bento
로그 수집·전달	✅ 핵심	✅ 핵심	✅ 핵심	✅ 지원	✅ 지원
메트릭 파이프라인	✅ 로그+메트릭 통합	⚠️ 제한적	⚠️ 제한적	⚠️ 제한적	⚠️ 제한적
실시간 이벤트 스트리밍	✅ 지원	✅ 지원	✅ 지원	✅ 특화	✅ 특화
비정형 로그 파싱	✅ VRL	✅ 플러그인	✅ Grok 최강	✅ Bloblang	✅ Bloblang
ETL/데이터 변환	✅ VRL	✅ 플러그인	✅ 필터	✅ Bloblang	✅ Bloblang
K8s 로그 수집	✅ 네이티브	✅ DaemonSet	⚠️ Beats 조합	✅ 지원	✅ 지원
멀티 목적지 라우팅	✅ route 변환	✅ copy 플러그인	✅ if/else	✅ switch output	✅ switch output
HTTP API 데이터 보강	⚠️ 제한적	⚠️ 플러그인	⚠️ HTTP 플러그인	✅ HTTP 프로세서	✅ HTTP 프로세서

3. 아키텍처 및 성능 심층 비교 분석

아키텍처 비교

항목	Vector	Fluentd	Logstash	Redpanda Connect	Bento
처리 모델	DAG + 비동기 Tokio	태그 기반 선형	선형 파이프라인	트랜잭션 기반 스트림	트랜잭션 기반 스트림
동시성 모델	async/await + 멀티스레드	GIL 제약 / 멀티프로세스	JVM 멀티스레드	Go 고루틴	Go 고루틴
변환 언어	VRL (Rust 컴파일)	Ruby 코드/플러그인	Ruby DSL / Grok	Bloblang	Bloblang
버퍼 방식	메모리/디스크 (컴포넌트별)	Stage→Queue 청크 기반	인메모리/Persistent Queue	인메모리 트랜잭션	인메모리 트랜잭션
전달 보장	At-least-once (E2E ACK)	At-least-once	At-least-once (PQ)	At-least-once (조건부 EOS)	At-least-once
백프레셔	ARC 자동 적응형	overflow_action 설정	PQ 한도 시 블로킹	Go 채널 자연스러운 블로킹	Go 채널 블로킹

성능 비교

지표	Vector	Fluentd	Logstash	Benthos/Bento
유휴 메모리	1530 MB	4080 MB	~~400~~500 MB	1020 MB
중부하 메모리 (10K EPS)	~~100~~200 MB	~~200~~400 MB	~~800MB~~1.2GB	80150 MB
처리량	~~10만~~30만+ EPS	1만5만 EPS	2만10만 EPS	5만20만+ EPS
p50 지연시간	<1 ms	510 ms	515 ms	13 ms
p99 지연시간	510 ms	2050 ms	50200 ms	1020 ms
시작 시간	수 초	수 초	수십 초 (JVM 워밍업)	수백 ms
CPU 효율성	매우 높음 (Rust 네이티브)	낮음 (Ruby GIL)	중간 (JIT 후 개선)	높음 (Go 고루틴)

4. 사용 사례 (사용 방법 포함)

Kubernetes 로그 수집

Vector — Kubernetes DaemonSet

# vector-daemonset-configmap.yaml
sources:
  kubernetes_logs:
    type: kubernetes_logs
    auto_partial_merge: true

transforms:
  parse_and_filter:
    type: remap
    inputs: ["kubernetes_logs"]
    source: |
      parsed, err = parse_json(.message)
      if err == null { . = merge(., parsed) }
      del(.kubernetes.pod_uid)
      .cluster = "k8s-prod"

  filter_health:
    type: filter
    inputs: ["parse_and_filter"]
    condition:
      type: vrl
      source: '!contains(string!(.message), "GET /health")'

sinks:
  elasticsearch:
    type: elasticsearch
    inputs: ["filter_health"]
    endpoints: ["https://es-cluster:9200"]
    bulk:
      index: "k8s-logs-%Y-%m-%d"
    buffer:
      type: disk
      max_size: 268435488
      when_full: block

Fluentd — Kubernetes DaemonSet

<source>
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/fluent/fluentd-containers.log.pos
  tag kubernetes.*
  <parse>
    @type json
    time_key time
  </parse>
</source>

<filter kubernetes.**>
  @type kubernetes_metadata
</filter>

<filter kubernetes.**>
  @type grep
  <exclude>
    key log
    pattern /GET \/health/
  </exclude>
</filter>

<match kubernetes.**>
  @type elasticsearch
  host es-cluster
  port 9200
  logstash_format true
  logstash_prefix k8s-logs
  <buffer>
    @type file
    path /var/log/fluent/es-buffer
    flush_interval 10s
    chunk_limit_size 8MB
    overflow_action block
  </buffer>
</match>

Logstash — Filebeat 연동

input {
  beats { port => 5044 }
}

filter {
  if [message] =~ /GET \/health/ { drop { } }

  json { source => "message"; target => "parsed"; skip_on_invalid_json => true }

  mutate {
    rename => {
      "[kubernetes][namespace]" => "k8s_namespace"
      "[kubernetes][pod][name]" => "k8s_pod"
    }
  }
}

output {
  elasticsearch {
    hosts => ["https://es-cluster:9200"]
    index => "k8s-%{k8s_namespace}-%{+YYYY.MM.dd}"
    user => "${ES_USER}"
    password => "${ES_PASSWORD}"
  }
}

실시간 이벤트 스트리밍 (Kafka 기반)

Redpanda Connect / Bento — Kafka 이벤트 처리

# CDC 이벤트 라우팅 (팬아웃)
input:
  kafka:
    addresses: ["kafka:9092"]
    topics: ["cdc-events"]
    consumer_group: "connect-processor"

pipeline:
  threads: 8
  processors:
    - bloblang: |
        root = this
        root.processed_at = now()
        root.fraud_score = if this.amount > 5000000 { 50 } else { 0 }
        root.is_suspicious = root.fraud_score > 60

output:
  switch:
    cases:
      # INSERT → 데이터 웨어하우스
      - check: 'this.op == "c"'
        output:
          aws_s3:
            bucket: "data-warehouse"
            path: 'inserts/${! timestamp_unix() }.json'

      # UPDATE → 캐시 무효화
      - check: 'this.op == "u"'
        output:
          redis_pubsub:
            url: redis://redis:6379
            channel: "cache-invalidation"

      # 의심 이벤트 → 별도 큐
      - check: 'this.is_suspicious == true'
        output:
          kafka:
            addresses: ["kafka:9092"]
            topic: "fraud-alerts"

5. 상황별 사용하기 적합한 도구

상황	1순위 추천	2순위	핵심 근거
소규모 팀/스타트업	Vector	Bento	단일 바이너리, 낮은 리소스, 빠른 설정
대규모 엔터프라이즈	Fluentd	Vector	검증된 안정성, 700+ 플러그인, CNCF 졸업
K8s/클라우드 네이티브	Vector	Fluent Bit + Fluentd	K8s 네이티브 소스, 낮은 리소스, Helm 지원
레거시 온프레미스	Logstash	Fluentd	ELK 통합, JDBC/SNMP 지원, Grok 파싱
실시간 스트리밍 (Kafka)	Redpanda Connect	Bento	스트림 프로세서 설계, Bloblang 변환
복잡한 데이터 변환	Redpanda Connect/Bento	Logstash	Bloblang 표현력, 조건 분기, workflow 프로세서
리소스 제약 (엣지/IoT)	Fluent Bit	Vector	Fluent Bit: ~1MB 메모리. Vector: ~15MB + 강력한 변환
ELK 스택 기존 사용자	Logstash (유지)	Vector (마이그레이션)	Elastic 네이티브 통합 vs 리소스 절감 목표 시 Vector
다양한 소스/목적지 통합	Fluentd	Logstash	700+ 플러그인, 레거시 시스템 포함 거의 모든 연동
완전 오픈소스 필수	Bento	Vector / Fluentd	100% MIT 영구 보장, 벤더 종속 없음

의사결정 플로우차트

시작
 │
 ├─ ELK 스택 사용 중? ──YES──▶ Logstash (또는 성능 이슈 시 Vector 마이그레이션 검토)
 │
 ├─ 리소스 극도 제약 (IoT/엣지)? ──YES──▶ Fluent Bit
 │
 ├─ Kafka 기반 실시간 스트리밍 변환? ──YES──▶ Redpanda Connect / Bento
 │
 ├─ 700+ 플러그인 필요? ──YES──▶ Fluentd
 │
 ├─ K8s 네이티브 + 고성능? ──YES──▶ Vector
 │
 ├─ 완전 오픈소스 필수? ──YES──▶ Bento
 │
 └─ 범용 기본 선택? ──▶ Vector (최고 성능/리소스 비율)

6. 비슷한 오픈소스 및 매니지드 서비스

오픈소스 대안

도구	언어	특징	적합 사례	CNCF
Fluent Bit	C	~1MB 메모리, 초경량. Fluentd 경량판	K8s DaemonSet, IoT/엣지, 사이드카	졸업
OpenTelemetry Collector	Go	벤더 중립 표준. 로그+메트릭+트레이스+프로파일 4종 통합	멀티 벤더 옵저버빌리티, APM 표준화	인큐베이팅
Grafana Alloy	Go	OTel Collector 공식 배포판. Promtail 후계자 (Promtail EOL: 2026.02)	Grafana LGTM 스택 통합 에이전트	❌
Cribl Stream	Node.js	GUI 기반 엔터프라이즈 파이프라인. Logstash 대비 8.75배 효율	Splunk 비용 절감, No-Code 파이프라인 관리	❌
Telegraf	Go	400+ 플러그인, 메트릭 수집 특화. InfluxDB 생태계	시계열 메트릭, IoT MQTT/Modbus, SNMP	❌
Apache NiFi	JVM	300+ 프로세서, GUI 드래그앤드롭, 데이터 출처 추적	복잡한 ETL, 규제 환경, 레거시 통합	❌
Kafka Connect	JVM	Kafka 공식 커넥터 프레임워크. DB CDC 특화	MySQL/PostgreSQL → Kafka CDC, Kafka 중심 아키텍처	❌
Filebeat/Metricbeat	Go	Elastic Beats 제품군. 경량 단일 목적 시퍼	ELK 스택 로그 전달, K8s Autodiscover	❌

매니지드 서비스

서비스	클라우드	가격 (기준)	무료 한도	특징
AWS Kinesis Firehose	AWS	~$0.029/GB	없음	서버리스, S3/Redshift/OpenSearch 직접 연결
GCP Cloud Logging	GCP	$0.50/GiB	월 50GiB	GKE/Cloud Run 자동 통합, Log Router
Azure Monitor	Azure	~$2.76/GB	5GB/일	KQL 분석, Log Analytics Workspace
Datadog	멀티	$0.10/GB 수집 + $1.70~$2.55/백만 인덱싱	14일 트라이얼	APM+로그+메트릭 통합, 650+ 통합
Splunk Cloud	멀티	$0.60~$1.20/GB/일	없음	SIEM/SOC 특화, SPL 강력한 쿼리
Elastic Cloud	멀티	소규모 $1,500~~/월, 중규모 $10,000~~/월	14일 트라이얼	Managed ELK, APM, ML 이상 감지
Mezmo (LogDNA)	멀티	$1.50/GB	Community (무료)	개발자 친화적 UI, 빠른 설정, Live Tail
Cribl.Cloud	멀티	$0.21/GB	1TB/일 무료	Cribl Stream SaaS, GUI 파이프라인, Splunk 비용 최적화

사용 사례별 추천 조합

시나리오	추천 스택
K8s 오픈소스 로그 수집	Fluent Bit 또는 Vector → Loki/Elasticsearch
멀티 신호 표준화 (로그+메트릭+트레이스)	OpenTelemetry Collector + Grafana Alloy
Splunk 비용 최적화	Vector 또는 Cribl Stream (앞단 필터) → Splunk
AWS 네이티브 파이프라인	Kinesis Firehose + CloudWatch Logs
빠른 시작 (SaaS)	Mezmo 또는 Cribl.Cloud (1TB/일 무료)
엔터프라이즈 SIEM	Splunk Enterprise Security 또는 Elastic SIEM

7. 결론

도구	한 줄 요약	가장 빛나는 순간
Vector	고성능 범용 옵저버빌리티 파이프라인	K8s 환경에서 로그+메트릭 통합 수집, 리소스 비용 절감
Fluentd	검증된 엔터프라이즈 로그 라우터	700+ 플러그인으로 이기종 시스템 연결이 필요할 때
Logstash	ELK 생태계의 핵심 파이프라인	기존 ELK 스택에서 Grok 기반 복잡한 로그 파싱
Redpanda Connect	스트림 네이티브 데이터 프로세서	Bloblang으로 복잡한 실시간 이벤트 변환·보강
Bento	Benthos의 독립 커뮤니티 포크	벤더 중립성과 100% MIT 라이선스가 필요한 환경

2025년 트렌드

Vector 채택 급증: Fluentd/Logstash에서의 마이그레이션 활발. OpenShift는 공식적으로 Fluentd 제거 후 Vector로 교체
Fluentd 마이그레이션 권고: CNCF가 공식적으로 Fluent Bit 또는 Vector 전환 권고
Bento 성장: 라이선스 독립성을 원하는 커뮤니티의 대안으로 자리잡는 중
OTel 표준화: OpenTelemetry Collector가 관찰가능성 표준으로 급부상 (Kubernetes 환경 81% 점유율)
**Cribl.Cloud 1TB/일 무료**: 엔터프라이즈 파이프라인 관리의 새로운 진입점

저작자표시 (새창열림)

ABOUT ME

불곰 불곰

0. 개요

1. 각 도구 별 무엇인지

1-1. Vector

Vector

1-2. Fluentd

Fluentd

1-3. Logstash

Logstash

1-4. Benthos → Redpanda Connect → Bento 역사

Benthos 인수 사건 전말

1-5. Redpanda Connect (구 Benthos)

Redpanda Connect

1-6. Bento

Bento

2. 어떤 용도로 사용하는지

3. 아키텍처 및 성능 심층 비교 분석

아키텍처 비교

성능 비교

4. 사용 사례 (사용 방법 포함)

Kubernetes 로그 수집

Vector — Kubernetes DaemonSet

Fluentd — Kubernetes DaemonSet

Logstash — Filebeat 연동

실시간 이벤트 스트리밍 (Kafka 기반)

Redpanda Connect / Bento — Kafka 이벤트 처리

5. 상황별 사용하기 적합한 도구

6. 비슷한 오픈소스 및 매니지드 서비스

오픈소스 대안

매니지드 서비스

7. 결론

티스토리툴바

ABOUT ME

0. 개요

1. 각 도구 별 무엇인지

1-1. Vector

Vector

1-2. Fluentd

Fluentd

1-3. Logstash

Logstash

1-4. Benthos → Redpanda Connect → Bento 역사

Benthos 인수 사건 전말

1-5. Redpanda Connect (구 Benthos)

Redpanda Connect

1-6. Bento

Bento

2. 어떤 용도로 사용하는지

3. 아키텍처 및 성능 심층 비교 분석

아키텍처 비교

성능 비교

4. 사용 사례 (사용 방법 포함)

Kubernetes 로그 수집

Vector — Kubernetes DaemonSet

Fluentd — Kubernetes DaemonSet

Logstash — Filebeat 연동

실시간 이벤트 스트리밍 (Kafka 기반)

Redpanda Connect / Bento — Kafka 이벤트 처리

5. 상황별 사용하기 적합한 도구

6. 비슷한 오픈소스 및 매니지드 서비스

오픈소스 대안

매니지드 서비스

7. 결론

관련글 관련글 더보기

티스토리툴바