불곰 불곰

분류 전체보기

• [Kubernetes] 워크로드 리소스 - StatefulSets, DaemonSet

  공부/쿠버네티스&헬름 2025. 1. 29. 17:01

  StatefulSetsStatefulSet은 Kubernetes에서 상태를 유지해야 하는 애플리케이션을 관리하기 위한 워크로드 API 객체입니다. 일반적인 Deployment와 달리 StatefulSet은 각 파드에 고유한 식별자를 부여하고 이를 유지하여 상태를 보장합니다. 즉, StatefulSet은 각 파드에 이름표를 달아주고, 그 이름표를 잃어버리지 않도록 관리하는 역할을 하여 상태를 유지해야 하는 애플리케이션을 안정적으로 운영할 수 있습니다.특징고유한 식별자: 각 파드에 고유한 ID를 부여하여 파드의 순서와 고유성을 보장합니다.영구 저장소: 영구 저장소를 사용하여 데이터를 지속적으로 유지할 수 있습니다.안정적인 네트워크 ID: 안정적인 네트워크 ID를 통해 다른 서비스에서 StatefulSet의 ..

• [Kubernetes] 워크로드 리소스 - ReplicationController, ReplicaSet, Deployment

  공부/쿠버네티스&헬름 2025. 1. 28. 19:58

  쿠버네티스는 ReplicationController와 ReplicaSet과 같은 컨트롤러를 통해 서비스의 안정성과 확장성을 보장합니다. 이 컨트롤러들은 클러스터 내에서 필요한 파드의 수를 자동으로 조절하여 항상 원하는 상태를 유지하도록 합니다.선언적 구성은 쿠버네티스의 핵심 개념 중 하나입니다. 이는 시스템에게 "어떤 동작을 해라"라고 지시하는 명령형 방식과 달리, "시스템을 어떤 상태로 만들어라"라고 선언하는 방식입니다. 즉, "파드를 3개 만들어라"라고 명령하는 대신 "항상 3개의 파드가 유지되도록 해라"라고 선언하는 것입니다.ReplicationController💡수평적으로 확장 가능한 워크로드를 관리하기 위한 레거시 API이고 Deployment나 ReplicaSet API를 사용하는 것을 권장..

• [Kubernetes] Pod

  공부/쿠버네티스&헬름 2025. 1. 28. 19:58

  워크로드, 워크로드 리소스, 파드의 관계워크로드는 쿠버네티스 클러스터에서 실행되는 애플리케이션을 의미합니다. 즉, 우리가 배포하고 관리하려는 서비스나 프로그램 자체를 가리킵니다.워크로드 리소스는 워크로드를 관리하는 객체입니다. 즉, 워크로드를 구성하고 파드를 생성하며 파드의 상태를 유지하는 역할을 합니다. ReplicaSet, Deployment, StatefulSet, DaemonSet, Job 등이 대표적인 워크로드 리소스입니다.파드는 워크로드를 실행하는 최소 단위입니다. 하나의 파드에는 하나 이상의 컨테이너가 포함될 수 있으며, 이들은 공유 네트워크와 볼륨을 가지고 함께 실행됩니다.파드란파드는 쿠버네티스에서 생성하고 관리할 수 있는 배포 가능한 가장 작은 컴퓨팅 단위입니다.파드는 하나 이상의 컨테이..

• [Kubernetes] 클러스터, 노드, 네임스페이스, 파드

  공부/쿠버네티스&헬름 2025. 1. 24. 23:49

  클러스터쿠버네티스 내 가장 큰 단위로 컨테이너를 실행하는 노드의 집합입니다.노드쿠버네티스의 노드는 컨테이너를 실행하는 물리 서버 또는 가상 머신입니다. 노드는 컨테이너가 실행되는 컴퓨터라고 생각하면 됩니다.클러스터 구성요소사용자는 kubectl ****명령어를 통해 쿠버네티스 클러스터와 통신하고 클러스터 내의 마스터 노드(컨트롤 플레인)는 API를 통해 클러스터 전체를 컨트롤하며 워커 노드(데이터 플레인)는 마스터 노드의 명령에 의해 워크로드를 생성하고 서비스합니다. 즉, 마스터 노드는 클러스터를 관리하는 역할이며 워커 노드는 실제 실행을 담당하는 역할입니다.💡워크로드는 쿠버네티스에서 구동되는 애플리케이션입니다. 클러스터에서 실행하려는 작업이나 서비스 등을 가리키는 말로 사용됩니다.네임스페이스클러스터 ..

• [Bigquery] Search Index

  DB/Bigquery 2024. 7. 8. 01:33

  개요BigQuery는 검색 색인을 사용하여 플랫폼 하나에서 강력한 열 저장과 텍스트 검색을 제공하므로 이를 통해 개별 데이터 행을 찾아야 할 때 효율적으로 행을 조회할 수 있습니다.검색 색인을 사용하면 쿼리 성능을 크게 높일 수 있습니다. 처리된 바이트 및 슬롯 밀리초의 절감 효과는 스캔되는 데이터가 적어서 검색 결과 수가 테이블의 총 행 수에서 상대적으로 적은 비율을 차지할 때 극대화됩니다.BigQuery는 색인을 저장하고 관리하고 현재(2024-07-07) 검색 색인은 문자열 뿐만 아니라 시간과 정수형 타입도 적용할 수 있고 SEARCH 함수나 =, in, like와 같은 연산자를 사용해 빠르고 효율적으로 검색할 수 있습니다.사용 사례BigQuery 검색 색인을 사용하면 다음 태스크를 수행할 수 있습..

• [Python] isinstance() VS type()

  언어/파이썬 & 장고 2024. 3. 13. 01:56

  파이썬에서 주어진 인스턴스가 어떤 클래스 또는 타입인지 비교하는 방법은 다음과 같습니다. 각 기능에 대해 설명 후 두 방법의 차이를 설명하도록 합니다. isinstance() 파이썬 내장함수인 isinstance()는 여러 기능이 있습니다. 1. isinstance(확인하고자 하는 값, 데이터 타입) print(isinstance("abc", str)) # True print(isinstance(1234, int)) # True 2. isinstance(확인하고자 하는 인스턴스, 클래스) class Parent: pass parent = Parent() print(isinstance(parent, Parent)) # True 주의사항 isinstance의 첫 번째 argument는 인스턴스여야 제대로 비..

• [Airflow] 데이터베이스 로그 주기적으로 자동 삭제하기

  언어/파이썬 & 장고 2024. 3. 1. 18:16

  시간이 지남에 따라 환경의 Airflow 데이터베이스에는 더 많은 데이터가 저장됩니다. 이 데이터에는 과거 DAG 실행, 태스크, 기타 Airflow 작업과 관련된 정보 및 로그가 포함됩니다. 💡 GCP Composer2에 해당하는 내용 Airflow 데이터베이스 크기가 16GB를 초과하면 환경을 이후 버전으로 업그레이드할 수 없음 Airflow 데이터베이스 크기가 20GB를 초과하면 스냅샷을 만들 수 없음 Dag를 사용하여 주기적인 DB 유지보수 다음 유지보수 DAG를 사용하여 데이터베이스 콘텐츠 속도를 빠르게 할 수 있습니다.(프루닝) 데이터베이스 크기를 작게 유지하려면 유지보수 DAG를 주기적으로 실행해야 합니다. 구글의 composer 문서에서는 아래에서 소개할 DAG를 매일 실행하는 것이 좋다고..

• [Bigquery] 데이터 마스킹이란

  DB/Bigquery 2024. 2. 26. 23:40

  데이터 마스킹을 사용해 컬럼 데이터를 선택적으로 가릴 수 있습니다. 정책 태그의 컬럼 수준 액세스 제어를 기반으로 동작하기 때문에 정책 태그 기능을 숙지해야 합니다. 장점 민감한 컬럼을 허용된 그룹에게만 전체 오픈할 수 있으므로 데이터 공유 프로세스가 간소화됨 컬럼 수준 액세스 제어와 달리 사용자가 액세스할 수 없는 컬럼을 제외하는 액션이 필요없음 즉, 기존 쿼리를 수정할 필요가 없음 정책 태그 기능과 연결된 기능으로 정책 태그의 장점을 그대로 취할 수 있음 데이터 마스킹 워크플로 분류 및 정책 태그 정의 데이터 마스킹 규칙 설정과 사용자 또는 그룹 구성원을 정책 태그에 매핑 빅쿼리 테이블의 컬럼에 정책 태그를 할당하여 데이터 정책을 적용 정책 태그에 대한 액세스 관리 마스킹된 데이터에 액세스해야 하는 ..

• [Bigquery] 정책 태그(Policy Tags)란

  DB/Bigquery 2024. 2. 26. 00:24

  Bigquery의 정책 태그는 데이터 유형에 대한 분류 체계를 제공합니다. 이를 통해 데이터 관리 및 보안 규칙을 쉽게 적용할 수 있습니다. Bigquery의 정책 태그는 데이터 카탈로그에 대한 메타데이터를 제공하며, 이를 통해 데이터 거버넌스를 강화하고 데이터 액세스를 제어하며 데이터 보안을 향상시킬 수 있습니다. 예를 들어 정책 태그를 통해 다음과 같은 액세스 검사를 시행할 수 있습니다. TYPE_SSN을 포함하는 컬럼을 보려면 group:high-access에 있어야함 celery 라는 컬럼은 team:hr 이 있는 사람만 조회 가능 컬럼 수준 액세스 제어 워크플로 정책 태그의 액세스 제어 워크플로는 다음과 같습니다. 분류 및 정책 태그 정의 데이터의 분류 및 정책 태그를 만들고 관리합니다. Big..

• [Bigquery] 라벨이란

  DB/Bigquery 2024. 2. 21. 00:14

  빅쿼리의 라벨을 사용하면 데이터셋, 테이블, 뷰에 라벨을 추가하여 리소스를 체계화 할 수 있습니다. 라벨은 key-value 쌍으로 구성합니다. 라벨을 지정하면 검색에 용이하며 용도, 환경, 부서 등을 기준으로 그룹화할 수 있습니다. 라벨 요구 사항 다음은 라벨을 구성하는데 필요한 사항입니다. 각 리소스에 라벨을 최대 64개까지 사용 가능 라벨은 키-값 쌍으로 이뤄짐 키는 필수값이며 1~63자까지 입력 가능 값은 선택 값이며 0~63자까지 입력 가능 키와 값은 한글, 소문자, 숫자, 밑줄, 대시만 사용 가능 키는 단일 리소스에서 고유해야함 여러 리소스에 같은 키를 사용할 수 있음 값이 없는 라벨 키의 값이 비어 있는 라벨을 태그라고도 부릅니다. 정책 태그와 형태가 유사해 보이지만 태그와는 기능이 완전히 ..