-
apache hue, apache ranger, Apache Atlas란?공부/데이터 2026. 4. 26. 16:06
Apache Hue & Apache Ranger & Apache Atlas 정리
1. 개요
Apache Hue, Apache Ranger, Apache Atlas는 Hadoop 생태계에서 각각 쿼리/탐색, 접근 제어, 메타데이터 거버넌스를 담당하는 세 개의 핵심 오픈소스 도구입니다. 세 도구는 서로 다른 역할을 수행하지만 함께 사용될 때 완전한 엔터프라이즈 데이터 플랫폼을 구성합니다.
도구 핵심 역할 핵심 질문 Apache Hue 웹 기반 SQL 에디터 / 데이터 탐색 UI 데이터를 어떻게 보는가? Apache Ranger 중앙화된 보안 정책 관리 / 접근 제어 데이터를 누가 볼 수 있는가? Apache Atlas 메타데이터 관리 / 데이터 계보 / 거버넌스 데이터가 무엇이고 어디서 왔는가? 세 도구는 독립적으로도 활용되지만, 함께 결합될 때 다음과 같은 시너지를 발휘합니다.
- Atlas → Ranger: Atlas가 컬럼에 PII 태그를 부여하면 Ranger가 자동으로 마스킹 정책을 적용합니다.
- Ranger → Hue: Ranger가 설정한 접근 정책이 Hue를 통해 쿼리하는 사용자에게 투명하게 적용됩니다.
- Atlas → Hue: Hue의 메타스토어 탐색 화면에서 Atlas에 등록된 메타데이터와 비즈니스 용어를 확인할 수 있습니다.
2. 각 도구 설명
Apache Hue
항목 내용 개발사 Cloudera (오픈소스) 소속 제품 Cloudera CDP(Cloud Data Platform), CDH(Cloudera Distribution of Hadoop) 내 포함 역할 웹 기반 SQL 어시스턴트 및 데이터 탐색 도구 GitHub github.com/cloudera/hue 주요 기능은 다음과 같습니다.
- 인터랙티브 SQL 에디터(자동완성, 문법 강조, 실행 계획 분석)
- Hive, Impala, Spark SQL, Presto/Trino 등 다양한 엔진 지원
- HDFS, S3, ABFS, GCS 등 분산 파일시스템 파일 브라우저
- 잡 브라우저(Hive/Impala 쿼리 실행 모니터링)
- 테이블/메타데이터 탐색
- AI 기반 SQL 어시스턴트(LLM 연동으로 자연어 → SQL 생성, 쿼리 최적화)
- Oozie 워크플로우 편집기
Hue는 데이터 엔지니어, 분석가, BI 개발자가 복잡한 CLI 없이 브라우저 하나로 데이터를 탐색하고 쿼리할 수 있도록 설계된 셀프서비스 쿼리 플랫폼입니다.
Apache Ranger
항목 내용 개발사 Apache Software Foundation (원래 Hortonworks → HDP에서 시작) 소속 제품 Apache HDP(Hortonworks Data Platform), Cloudera CDP, AWS EMR, Azure HDInsight 등 역할 데이터 플랫폼 전반의 중앙화된 보안 정책 관리 및 접근 제어 주요 기능은 다음과 같습니다.
- RBAC (Role-Based Access Control): 역할 기반 접근 제어로 사용자/그룹별 권한 정의
- ABAC (Attribute-Based Access Control): 속성 기반 세밀한 제어
- TBAC (Tag-Based Access Control): Atlas 태그 기반 접근 제어
- Column-level Security: 특정 컬럼에 대한 SELECT 권한 세분화
- Row-level Filtering: 사용자/역할별 조회 행 필터링
- Dynamic Data Masking: 민감 데이터(개인정보, 카드번호 등) 자동 마스킹
- 중앙 집중식 Audit Log: 모든 데이터 접근 이력 기록
- Policy 위임(Delegation): 권한 관리 책임을 부서 단위로 위임
Ranger는 HDFS, Hive, HBase, Kafka, YARN, Storm, Knox, Solr, Kudu, Trino/Presto 등에 경량 플러그인(Java Agent) 방식으로 삽입되어 동작합니다. 보안 정책은 Ranger Admin UI 또는 REST API를 통해 중앙에서 관리합니다.
클라우드 오브젝트 스토리지 플러그인 지원도 별도로 제공됩니다.
- AWS S3 — EMRFS 플러그인 (Amazon EMR 5.32 이상 공식 지원): EMRFS(Amazon EMR File System)를 통해 S3에 접근할 때 버킷·프리픽스·오브젝트 단위 Fine-Grained Access Control이 가능합니다. 접근 요청은 Secret Agent가 Ranger 정책과 대조한 뒤 해당 정책 범위로 제한된 임시 IAM 자격증명을 발급합니다. 재귀 정책(Recursive Policy)과 와일드카드로 공통 프리픽스 하위 전체 오브젝트에 권한을 일괄 적용할 수 있으며, 감사 로그는 Amazon CloudWatch로 전송됩니다.
- GCP GCS — Dataproc Ranger 플러그인 (Google Cloud Dataproc 공식 지원): Dataproc 클러스터 생성 시 Ranger Admin UI에
gcs-dataproc서비스 타입이 자동 등록됩니다. 기본 정책으로 클러스터 스테이징·임시 버킷 읽기/쓰기가 설정되며, 버킷·오브젝트 경로별 세밀한 접근 제어 정책을 Ranger에서 직접 관리합니다. - Privacera (상용 확장): Ranger 기반의 멀티클라우드 거버넌스 솔루션으로 AWS S3·GCS·Azure ADLS·Snowflake·Databricks·BigQuery 등 전 클라우드 영역에 단일 Ranger 정책을 통합 적용합니다 ("Ranger++" 또는 "Ranger on steroids"로도 불림).
Apache Atlas
항목 내용 개발사 Apache Software Foundation (원래 Hortonworks가 기여, HDP에서 시작) 소속 제품 Apache HDP(Hortonworks Data Platform), Cloudera CDP 내 포함 역할 메타데이터 관리, 데이터 계보(Lineage) 추적, 분류(Classification) 기반 거버넌스 GitHub github.com/apache/atlas 최신 버전 2.4.0 (2025년 1월), 2.5.0에서 Trino Extractor 및 PostgreSQL 백엔드 추가 예정 주요 기능은 다음과 같습니다.
- Type System: 데이터 자산을 Type과 Entity 모델로 구조화 (Hive 테이블, 컬럼, HDFS 경로, Kafka 토픽 등)
- Data Lineage: ETL 파이프라인 전체를 컬럼 레벨까지 시각화 (소스 → 변환 → 타겟)
- Classification / Tag:
PII,PHI,PCI,EXPIRES_ON등 태그 부여 및 파생 엔티티로 자동 전파(Propagation) - Business Glossary: 기술 컬럼명과 비즈니스 의미 연결 (예:
cust_id→ "고객 고유 식별자") - 검색 (Search): Solr 기반 전문 검색으로 데이터 자산 빠르게 탐색
- Ranger 연동: Atlas 태그 기반 Ranger 보안 정책 자동 적용
- REST API: 모든 메타데이터 조회/등록/수정을 REST API로 자동화
내부 아키텍처는 다음과 같습니다.
컴포넌트 역할 JanusGraph 메타데이터 그래프 DB (관계 저장) HBase JanusGraph의 백엔드 스토리지 Solr 전문 검색 인덱싱 Apache Kafka 훅(Hook)에서 발생하는 메타데이터 이벤트 수신/발행 Atlas Hook Hive, HBase, Kafka, Spark 등에서 이벤트 발행하는 에이전트 지원 훅(Hook) 목록 — Hive, HBase, Kafka, Sqoop, Storm, Spark, Impala, Falcon, Couchbase
3. Data Lakehouse의 어느 타입들과 결합할 수 있는지
데이터 레이크하우스 주요 타입
현대 데이터 레이크하우스는 크게 세 가지 오픈 테이블 포맷과 쿼리 엔진 조합으로 구성됩니다.
구분 대표 기술 오픈 테이블 포맷 Apache Hudi, Apache Iceberg, Delta Lake 쿼리/처리 엔진 Apache Spark, Apache Hive, Trino/Presto, Apache Flink 메타데이터 카탈로그 Apache Atlas, AWS Glue Catalog, Hive Metastore 오브젝트 스토리지 AWS S3, Azure ADLS, Google GCS, HDFS
세 도구의 레이크하우스 결합 가능 타입
타입 Hue Ranger Atlas Apache Hive (on HDFS/S3) ✅ 완전 지원 ✅ 공식 플러그인 ✅ 공식 훅 지원 Apache Impala ✅ 완전 지원 ✅ 공식 플러그인 ✅ 훅 지원 Apache HBase ⚠️ 제한적 ✅ 공식 플러그인 ✅ 공식 훅 지원 Apache Kafka ⚠️ 제한적 ✅ 공식 플러그인 ✅ 공식 훅 지원 Spark SQL ✅ 지원 (Thrift Server) ✅ 지원 ✅ 지원 (SAC) Trino / Presto ✅ JDBC 연결 ✅ Starburst 통합 ✅ 2.5.0 Extractor Apache Iceberg (via Hive/Spark) ✅ 간접 지원 ✅ 간접 지원 ⚠️ 간접 지원 Delta Lake (via Spark) ✅ 간접 지원 ✅ 간접 지원 ⚠️ 간접 지원 Apache Hudi (via Hive/Spark) ✅ 간접 지원 ✅ 간접 지원 ⚠️ 간접 지원 AWS S3 (EMR EMRFS) ✅ 파일 브라우저 ✅ EMRFS 플러그인 — 버킷·프리픽스·오브젝트 레벨 제어 (EMR 5.32+) ⚠️ 수동/커스텀 훅 필요 Azure ADLS ✅ 파일 브라우저 ⚠️ 클라우드 서비스(HDInsight 등) 필요 ⚠️ 수동/커스텀 훅 필요 GCP GCS (Dataproc) ✅ 파일 브라우저 ✅ Dataproc Ranger 플러그인 — gcs-dataproc 서비스 자동 등록 ⚠️ 수동/커스텀 훅 필요 AWS Glue Catalog ⚠️ 제한적 ⚠️ 제한적 ⚠️ 커스텀 통합 필요 핵심: 세 도구 모두 Hive Metastore 기반 생태계에서 가장 강력하게 동작합니다. Iceberg/Delta/Hudi는 엔진(Hive, Spark)을 통해 간접 연동됩니다.
4. 각 타입과의 궁합
Apache Hue 궁합
데이터 레이크하우스 타입 궁합 이유 Hive Metastore 기반 ★★★★★ Hue는 Hive 생태계에서 탄생하여 완전 통합 Spark SQL + Iceberg ★★★★☆ Spark Thrift Server 경유 시 Iceberg 테이블 쿼리 원활 Trino + Iceberg/Hudi ★★★★☆ Trino JDBC 연결로 다양한 포맷 탐색 가능 Delta Lake + Spark ★★★☆☆ 동작하지만 Delta 전용 기능(Time Travel UI 등)은 미지원 순수 클라우드 DW (Snowflake, BigQuery) ★★☆☆☆ JDBC 연결은 가능하나 전용 UX 부족 Apache Ranger 궁합
데이터 레이크하우스 타입 궁합 이유 Cloudera CDP (CDH/HDP 기반) ★★★★★ Ranger는 CDP의 핵심 보안 컴포넌트 AWS EMR + Hive/Spark ★★★★☆ EMR에서 Ranger 공식 통합 지원 Azure HDInsight + HDP ★★★★☆ HDInsight의 기본 보안 레이어 Starburst Enterprise (Trino + Iceberg) ★★★★☆ Ranger 정책을 Trino에 적용 가능 순수 오픈소스 Spark + Iceberg ★★★☆☆ 구성 가능하나 커스텀 작업 필요 GCP Dataproc + GCS ★★★★☆ Dataproc Ranger 플러그인으로 GCS 직접 제어 — gcs-dataproc 서비스 자동 등록, 버킷·오브젝트 경로별 정책 관리 가능 AWS S3 직접 제어 (EMR EMRFS) ★★★★☆ EMR 5.32+에서 EMRFS 플러그인으로 S3 버킷·프리픽스·오브젝트 단위 Fine-Grained Access Control 지원. S3 접근은 EMRFS 경유 필수, Deny 정책 미지원 Databricks, Snowflake, BigQuery ★☆☆☆☆ 오픈소스 커넥터 미지원, 자체 거버넌스 도구 사용 권장 Apache Atlas 궁합
데이터 레이크하우스 타입 궁합 이유 Hive Metastore 기반 레이크하우스 ★★★★★ Hive Hook으로 완전 자동화, 컬럼 레벨 계보 추적 HDP/CDP 기반 온프레미스 환경 ★★★★★ Cloudera/Hortonworks 플랫폼과 완전 통합 Kafka 기반 스트리밍 파이프라인 ★★★★☆ Kafka 토픽 메타데이터 및 스키마 진화 추적 AWS EMR + Hive ★★★★☆ EMR에서 Hive Hook 활성화 시 자동 수집 Spark + Iceberg ★★★☆☆ Spark Atlas Connector 설정 필요, 자동화 가능하나 설정 복잡 Delta Lake (Databricks) ★★☆☆☆ Databricks는 Unity Catalog 자체 거버넌스 사용 권장 Snowflake, BigQuery 등 클라우드 DW ★☆☆☆☆ 공식 지원 없음, 자체 거버넌스 도구 사용 권장
5. 비슷한 도구 설명
Apache Hue 유사 도구
도구 특징 차이점 Apache Zeppelin 노트북 기반, 다중 언어(Python, Scala, SQL, R) 지원 데이터 과학/ML 탐색에 강점, Hue보다 노트북 중심 Jupyter Notebook 파이썬 중심의 인터랙티브 노트북 데이터 과학 표준, Hadoop 직접 통합은 약함 DBeaver 범용 DB 클라이언트(데스크탑 앱) 다양한 DB 지원, 엔터프라이즈 Hadoop 관리 기능 부족 Redash SQL 쿼리 기반 시각화/대시보드 도구 시각화에 특화, Hadoop 파일시스템 통합 없음 Databricks Notebooks Databricks 플랫폼 내장 노트북 Delta Lake와 완전 통합, 클라우드 전용 Apache Ranger 유사 도구
도구 특징 차이점 Apache Sentry Hive/Impala용 RBAC (현재 유지보수 축소) Ranger의 전신 격, 현재는 Ranger로 대체 추세 AWS Lake Formation AWS 네이티브 데이터 레이크 보안/거버넌스 AWS S3/Glue와 완전 통합, 온프레미스 지원 없음 Azure Purview / Microsoft Purview Azure 클라우드 데이터 거버넌스 플랫폼 메타데이터 + 접근 제어, Azure 전용 Privacera Ranger를 클라우드(Databricks, Snowflake 등)까지 확장한 상용 제품 Ranger 기반이지만 클라우드 서비스 통합 강화 Immuta 클라우드 데이터 접근 제어 전문 SaaS Policy as Code, Snowflake/Databricks 완전 통합 Apache Atlas 유사 도구
도구 유형 특징 Atlas와의 차이점 LinkedIn DataHub 오픈소스 스트리밍 아키텍처 기반, 실시간 계보, 데이터 메시 지원 클라우드 DW/SaaS 커버리지 우수, Hadoop 외 다양한 소스 Amundsen (Lyft) 오픈소스 Google 검색 스타일 데이터 탐색 특화, 경량 계보 추적 약함, 거버넌스 정책 기능 제한 OpenMetadata 오픈소스 84+ 커넥터, 활발한 커뮤니티, 완전한 거버넌스 스위트 클라우드 통합 강함, Hadoop 네이티브 훅은 Atlas보다 약함 Alation 상용 SaaS 데이터 검색+협업+스튜어드십, 기업 거버넌스 유료, 엔터프라이즈 UI 강점 Collibra 상용 SaaS 금융/헬스케어 대기업 대상 정책 관리 특화 가장 포괄적인 거버넌스 기능, 높은 비용 Databricks Unity Catalog 상용 (Databricks 전용) Delta Lake/Iceberg 완전 통합, AI/ML 자산까지 거버넌스 Databricks 종속, Hadoop 환경에는 부적합 📌 Apache Atlas + Apache Ranger 조합은 Data Lakehouse의 "메타데이터 관리 + 접근 제어"를 동시에 커버하는 황금 조합으로 널리 사용됩니다.
6. 각 도구별 사용하면 좋을 상황
Apache Hue를 사용하면 좋은 상황
- Cloudera CDP/CDH/HDP 환경을 운영 중일 때 — Hue가 기본 탑재되어 있어 별도 설치 없이 바로 사용 가능합니다.
- 데이터 엔지니어/분석가가 CLI 없이 SQL을 작성하고 실행해야 할 때 — Hive, Impala, Spark SQL을 브라우저에서 실행할 수 있습니다.
- HDFS/S3 파일 탐색 및 Importer를 통한 테이블 생성이 필요할 때 — 파일 → 테이블 변환 워크플로우를 UI로 처리합니다.
- 쿼리 실행 계획(EXPLAIN PLAN)과 DAG 분석이 필요할 때 — 쿼리 최적화에 활용합니다.
- 소규모~중규모 팀의 셀프서비스 분석 환경을 구축할 때 — 별도 BI 툴 없이 SQL 쿼리로 빠른 탐색이 가능합니다.
- Oozie 워크플로우 편집 및 모니터링이 필요할 때 — Hue의 Workflow Editor를 통해 Oozie 잡을 시각적으로 관리합니다.
Apache Ranger를 사용하면 좋은 상황
- 다수의 팀/부서가 같은 데이터 플랫폼을 공유할 때 — 팀별 역할에 맞는 접근 권한을 중앙에서 일관되게 관리합니다.
- GDPR, HIPAA, PCI-DSS 등 데이터 규제 준수가 필요할 때 — Column Masking, Row Filtering, Audit Log로 컴플라이언스를 충족합니다.
- PII(개인정보) 포함 데이터를 여러 엔진에서 다루는 환경 — Hive, HBase, Kafka, Spark 등 다중 엔진에 동일한 마스킹 정책을 적용합니다.
- Hadoop 클러스터에서 세밀한 컬럼/행 단위 보안이 필요할 때 — 단순 테이블 권한을 넘어 컬럼, 행 필터링까지 제어합니다.
- 보안 감사 및 접근 이력 관리가 필요할 때 — 누가, 언제, 무슨 데이터에 접근했는지 전체 Audit Log를 제공합니다.
- Apache Atlas와 연계하여 태그 기반 거버넌스를 구축할 때 — Atlas에서 PII 태그를 붙이면 Ranger가 자동으로 해당 데이터에 마스킹 정책을 적용합니다.
Apache Atlas를 사용하면 좋은 상황
- Cloudera CDP/HDP 환경에서 중앙화된 메타데이터 관리가 필요할 때 — CDP에 Atlas가 기본 탑재되어 있어 즉시 활용 가능합니다.
- 복잡한 ETL 파이프라인의 데이터 계보(Lineage) 추적이 필요할 때 — Hive/Spark 처리 흐름을 컬럼 레벨까지 시각화합니다.
- PII, PHI 등 민감 데이터 자동 분류 및 태그 관리가 필요할 때 — 분류를 한 번 부여하면 파생 테이블에 자동 전파됩니다.
- Apache Ranger와 연계한 태그 기반 보안 정책 자동화 — Atlas에서 PII 태그 부여 → Ranger가 자동으로 마스킹 정책 적용하는 완전 자동화가 가능합니다.
- 데이터 스튜어드십 및 비즈니스 용어 사전 구축이 필요할 때 — 기술 컬럼명과 비즈니스 의미를 연결하여 데이터 품질 거버넌스를 강화합니다.
- 규제 감사(Audit)를 위한 데이터 자산 현황 파악 — 어떤 데이터 자산이 존재하는지 전사 카탈로그를 자동 구축합니다.
- Kafka 기반 스트리밍 파이프라인의 토픽/스키마 버전 이력 관리가 필요할 때 — Kafka Hook으로 토픽 메타데이터를 자동 추적합니다.
7. 구축 예시
예시 1: Cloudera CDP 기반 데이터 레이크하우스 (Hue + Ranger)
[아키텍처] 사용자 → Hue (SQL Editor) → HiveServer2 / Impala ↓ Ranger Plugin (Hive/Impala) ↓ Ranger Admin (정책 적용) ↓ 데이터: HDFS / S3 (Parquet, ORC)구성 단계
- Cloudera Manager에서 Hue 서비스 활성화 — Hive, Impala 연동 설정 완료합니다.
- Ranger Admin 설치 및 웹 콘솔 접속 — 기본 포트 6080에서 접근합니다.
- Hive Ranger 플러그인 활성화 —
ranger-hive-plugin-install.sh실행합니다. - Ranger Policy 생성 — 예:
finance_team역할에finance_db.transactions테이블 SELECT 권한만 부여합니다. - Column Masking 정책 추가 —
credit_card_number컬럼에 동적 마스킹 적용합니다. - Hue에서
finance_team사용자로 로그인 후 쿼리 실행 — Ranger 정책에 따라 마스킹된 결과가 반환됩니다.
예시 2: HDP 기반 온프레미스 Atlas + Hive 계보 추적
[아키텍처] Hive DDL 실행 (CREATE TABLE, INSERT OVERWRITE) ↓ Hive Atlas Hook (atlas-plugin-classloader) ↓ Kafka ATLAS_HOOK 토픽 Atlas Server (JanusGraph + HBase + Solr) ↓ Atlas UI (계보 그래프 시각화)구성 단계
- Ambari 또는 Cloudera Manager에서 Atlas 서비스 활성화 — HBase, Solr, Kafka가 사전 구동되어 있어야 합니다.
- Hive Hook 활성화 —
hive-site.xml에hive.exec.post.hooks=org.apache.atlas.hive.hook.HiveHook추가합니다. - Atlas 웹 UI 접속(기본 포트 21000) — 엔티티 탐색 및 계보 그래프 확인합니다.
- Hive에서 테이블 생성/ETL 수행 — Atlas UI에서 자동으로 계보 그래프가 생성됩니다.
예시 3: AWS EMR + Apache Ranger + Apache Iceberg 구성
[아키텍처] 데이터 분석가 → EMR Studio(또는 Hue on EMR) → Spark/Trino ↓ Ranger EMR Plugin ↓ Ranger Admin (EC2 또는 EKS) ↓ 데이터: S3 (Apache Iceberg 포맷)구성 단계
- AWS EMR 클러스터 생성 시 Ranger 설정 활성화 — EMR의 Security Configuration에서 Ranger 통합을 선택합니다.
- Ranger Admin EC2 인스턴스 배포 — RDS(MySQL)를 백엔드 DB로 사용합니다.
- S3 Iceberg 테이블에 대한 Ranger Policy 생성 — Trino 또는 Spark를 통한 Iceberg 테이블 접근을 제어합니다.
- EMR Studio에서 Spark 노트북 실행 — Ranger 정책에 따라 접근 제어가 적용됩니다.
예시 4: 완전한 3-Tool 통합 거버넌스 아키텍처 (Atlas + Ranger + Hue)
[전체 아키텍처] 데이터 자산 등록/태그 → Apache Atlas (메타데이터 허브) ↓ 태그 동기화 ↑ 메타데이터 탐색 접근 정책 적용 → Apache Ranger Apache Hue (쿼리 UI) ↓ ↓ Hive / HBase / Kafka / HDFS ←→ 쿼리 실행 (마스킹 적용)운영 시나리오
- 데이터 스튜어드가 Atlas에서 신규 테이블의 민감 컬럼에
PII태그를 부여합니다. - Ranger가 Atlas-Ranger Tag Sync를 통해 태그를 수신하고, 해당 컬럼에 자동으로 마스킹 정책을 적용합니다.
- 일반 분석가가 Hue에서 쿼리 실행 시 Ranger 정책에 따라 마스킹된 결과만 반환됩니다.
- 감사팀은 Ranger Audit Log + Atlas Lineage를 통해 누가 어떤 데이터에 접근했고, 그 데이터가 어디서 왔는지 추적합니다.
Atlas-Ranger Tag Sync 설정 포인트
- Ranger Admin에서 Tag-based Policy 생성:
TAG = PII→MASK (PARTIAL)적용합니다. - Ranger에 Atlas 서버 URL 등록:
ranger.tagsync.atlas.rest.url설정합니다. - Atlas-Ranger Tag Sync 데몬이 주기적으로 Atlas 태그를 Ranger로 동기화합니다.
예시 5: GCP Dataproc + Apache Ranger + GCS 직접 접근 제어
[아키텍처] 데이터 분석가 → Dataproc (Spark / Hive / Presto) ↓ Ranger Dataproc Plugin (gcs-dataproc) ↓ Ranger Admin (GCE 또는 Cloud SQL 백엔드) ↓ 데이터: GCS (Parquet, ORC, Iceberg 포맷)구성 단계
- Dataproc 클러스터 생성 시 Ranger 통합 활성화 — Optional Component 또는 Initialization Action으로 Ranger를 선택합니다.
- Ranger Admin 인스턴스 배포 — GCE에 Ranger Admin을 배포하고 Cloud SQL(MySQL)을 백엔드 DB로 사용합니다.
- gcs-dataproc 서비스 확인 — 클러스터 생성 후 Ranger Admin UI에서
gcs-dataproc서비스 타입이 자동 등록된 것을 확인합니다. - GCS 버킷 접근 정책 생성 — 예:
data-team역할에gs://company-datalake/finance/**경로 읽기 권한,analyst역할에gs://company-datalake/public/**읽기 전용 부여합니다. - Dataproc 작업 실행 — Spark·Hive 잡이 GCS에 접근 시 Ranger 정책에 따라 접근 제어가 투명하게 적용됩니다.
예시 6: AWS EMR + EMRFS 플러그인 + S3 오브젝트 레벨 제어
[아키텍처] 데이터 분석가 → Amazon EMR (Spark / Hive / Trino) ↓ EMRFS → Secret Agent → Ranger EMRFS Plugin ↓ Ranger Admin (EC2 또는 EKS) ↓ S3 (범위 제한된 임시 IAM 자격증명으로 접근)구성 단계
- EMR Security Configuration에서 Ranger 통합 및 EMRFS S3 플러그인 활성화 — EMR 5.32 이상 필요합니다.
- Ranger Admin 배포 — EC2에 배포하고 RDS(MySQL)를 백엔드로 사용합니다.
- EMRFS S3 Ranger Policy 생성 — 예:
analyst역할에s3://data-lake/raw/프리픽스 읽기 전용,etl-team역할에s3://data-lake/processed/읽기·쓰기 권한 설정합니다. - 재귀 정책 및 와일드카드 적용 — 재귀 정책으로 공통 프리픽스 하위 전체 오브젝트에 권한 부여, 와일드카드(
*)로 여러 프리픽스를 동시에 선택합니다. - CloudWatch 감사 로그 확인 — 모든 S3 접근 이력이 CloudWatch Logs로 전송되어 감사 추적이 가능합니다.
⚠️ EMRFS S3 플러그인 제한 사항: S3 접근은 반드시 EMRFS 경유 필수, 정책당 최대 3개 규칙 제한, Deny 정책 미지원.
8. 요약
구분 Apache Hue Apache Ranger Apache Atlas 핵심 역할 데이터 쿼리 및 탐색 UI 데이터 접근 제어 및 보안 정책 관리 메타데이터 관리, 계보 추적, 거버넌스 소속 Cloudera (오픈소스) Apache Software Foundation Apache Software Foundation 주요 기능 SQL 에디터, 파일 브라우저, 메타데이터 탐색 RBAC, Column Masking, Row Filtering, Audit Lineage, Classification, Business Glossary 사용 대상 데이터 엔지니어, 분석가, BI 개발자 보안 관리자, 데이터 거버넌스 팀 데이터 스튜어드, 컴플라이언스 담당자 적합 환경 Cloudera CDP/CDH, Hive, Spark, Trino Hadoop, CDH, HDP, EMR, Azure HDInsight Hadoop(HDP/CDP), Hive, Kafka, Spark 레이크하우스 결합 쿼리 엔진 경유 간접 지원 엔진 플러그인 경유 간접 지원 Hive 완전 지원, 나머지 간접 지원 강점 셀프서비스 쿼리 UX 다중 엔진 중앙 보안 정책 Tag 자동 전파 + Ranger 정책 자동화 한계 Hadoop 외 클라우드 DW는 UX 부족 클라우드 네이티브 플랫폼 커넥터 미지원 Databricks/Snowflake 통합 제한 💡 핵심 정리: 세 도구를 함께 구축하면 데이터 탐색(Hue) + 보안 제어(Ranger) + 메타데이터 거버넌스(Atlas) 가 통합된 엔터프라이즈급 데이터 플랫폼을 완성할 수 있습니다. Atlas가 "무엇"을 알고, Ranger가 "누가 접근할 수 있는지"를 결정하며, Hue가 "어떻게 볼지"를 제공합니다.
참고 출처: gethue.com, ranger.apache.org, atlas.apache.org, Cloudera Docs, Dremio Wiki, IBM Think, Starburst Docs, IOMETE Blog, atlan.com