개발 일기92

Kubernetes 실무에서 자주 쓰는 Helm & kubectl 명령어 정리Helm 명령어 모음helm repo add Helm 저장소 등록ex) helm repo add apache-airflow https://airflow.apache.orghelm repo update저장소 업데이트 (차트 버전 최신화)helm search repo Helm 저장소에서 차트 검색helm install [flags]Helm 차트 설치helm upgrade [flags]기존 릴리스 업그레이드helm upgrade --install ...설치되어 있지 않으면 설치, 있으면 업그레이드helm list [-n namespace]설치된 릴리스 목록 조회helm uninstall [-n namespace]Helm 릴..

Docker, k3s, airflow, postgresql 로 수집, 가공, 적재, power bi시각화 까지 진행할 예정.1. Docker 설치 sudo apt update sudo apt install -y docker.io sudo usermod -aG docker $USER newgrp docker  # 또는 재로그인 docker version 2. kubectl 설치 (Kubernetes CLI) sudo apt update sudo apt install -y apt-transport-https ca-certificates curl sudo curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add - e..

Airflow Executor 종류별 선택 가이드Airflow를 어떻게 실행하느냐에 따라 Executor 설정이 매우 중요해진다.각 환경에 맞는 Executor를 선택하면 성능, 확장성, 운영 효율성이 크게 달라질 수 있다.테스트, 개발 환경 : LocalExecutor추천 대상로컬 머신에서 간단히 테스트할 때개발 단계에서 빠르게 DAG를 확인하고 디버깅할 때설명LocalExecutor는 태스크를 병렬로 실행할 수 있는 가장 간단한 실행기. 모든 작업을 Airflow Scheduler가 실행되는 프로세스에서 직접 실행. 장점설치와 설정이 매우 간단SequentialExecutor보다 빠름 (병렬 실행 가능)별도 외부 서비스(redis, celery broker 등) 필요 없음단점확장성이 부족함 (한 서버..

🔹 Power BI 서버에 CSV 파일 업로드하는 방법Power BI 서버에 CSV 파일을 업로드하는 방법은 Power BI Desktop과 **Power BI Service(클라우드)**를 사용하는지에 따라 다릅니다.방법 1: Power BI Desktop에서 CSV 파일 업로드 (로컬 작업 후 서버 배포)1️⃣ Power BI Desktop 실행컴퓨터에서 Power BI Desktop을 실행합니다.2️⃣ CSV 파일 불러오기상단 메뉴에서 홈 → 데이터 가져오기 → 텍스트/CSV 선택CSV 파일을 선택한 후 열기(Open) 클릭3️⃣ 데이터 로드 또는 변환데이터 미리보기가 표시됨그대로 사용할 경우 로드(Load) 클릭편집이 필요하면 데이터 변환(Transform Data) 클릭 후 Power Quer..

Power BI vs. Tableau 비교  Power BITableau개발사MicrosoftSalesforce사용 용이성직관적인 UI, 초보자 친화적약간의 학습 곡선 필요, 전문가 친화적비용비교적 저렴함 (무료 버전 및 Pro/Enterprise 라이선스)가격이 비싸며, 기업용 라이선스 비용이 높음데이터 처리 속도적은 데이터셋에 강함, 대량 데이터에서는 성능 저하 가능대량 데이터 처리에 강함, 빠른 연산 및 시각화데이터 연결성Microsoft 제품군과 강력한 연동 (Excel, Azure, SharePoint, SQL Server)다양한 데이터 소스와 연결 가능, 특히 클라우드 및 빅데이터 지원이 강함시각화 기능기본 제공 시각화 기능이 많고, 사용자 지정 가능고급 시각화 기능 제공, 더 풍부한 대시보드..

expect는 자동화된 상호작용을 처리하는 스크립트 언어이다.보통 SSH, FTP, Telnet, 패스워드 입력 등의 자동화에 사용된다.spawn은 expect 스크립트에서 특정 프로그램을 실행하는 명령어로, 이 프로그램과의 상호작용을 관리할 수 있도록 해준다.1. spawn의 역할spawn은 지정한 명령어를 실행하고 해당 프로세스와 상호작용할 수 있도록 만든다.보통 expect, send와 함께 사용되어 입력을 자동으로 처리할 수 있다.2. SSH 자동 로그인ex) SH 자동 로그인을 수행하는 expect 스크립트 #!/usr/bin/expect # SSH로 원격 서버 접속 자동화 예제 set timeout 10 # 타임아웃 설정 (초) set user "your_user" # 사용자명set host ..

쉘 스크립트의 첫 줄에 나오는 #!/bin/bash는 ''셰뱅(Shebang)" 이라고 불리며,스크립트를 실행할 때 사용할 인터프리터를 지정하는 역할을 한다.1. #!/bin/bash의 의미#!(Shebang) 뒤에 오는 /bin/bash는 **Bash(Bourne Again Shell)**를 사용하여 스크립트를 실행즉, 스크립트는 /bin/bash를 통해 실행되며, Bash 문법을 따르게 된다.2. 다른 셰뱅의 종류셰뱅은 Bash뿐만 아니라 다양한 인터프리터를 지정할 수 있다. #!/bin/shPOSIX 호환 Bourne Shell 사용 (일반적으로 /bin/sh는 시스템에 따라 다른 셸로 연결될 수 있음)#!/bin/bashBash 사용 (리눅스에서 가장 많이 사용됨)#!/bin/zshZsh 사용 (..

Apache Hive Index 정리Hive에서 Index(색인) 는 테이블에서 데이터를 빠르게 검색할 수 있도록 도와주는 기능이다일반적인 RDBMS의 인덱스와 비슷하지만, Hive는 대량의 데이터를 다루기 때문에 작동 방식이 약간 다르다.1. Hive Index의 필요성Hive는 기본적으로 테이블을 풀 스캔(Full Table Scan) 하기 때문에, 데이터 양이 많아지면 쿼리 속도가 느려질 수 있다.Index를 사용하면 검색 범위를 줄여서 성능을 향상시킬 수 있다.사용 예시:특정 컬럼에 대한 빠른 조회WHERE 절을 자주 사용하는 컬럼 최적화조인(Join) 성능 향상2. Hive Index 종류ex)Compact IndexHive 기본 제공 인덱스. 별도의 테이블에 인덱스 저장단순 조회 최적화Bitm..

1.crontab 옵션별 설명옵션설명예시-u [사용자명]특정 사용자의 크론 작업을 설정/조회/삭제 (root 권한 필요)sudo crontab -u -l-e현재 사용자의 크론 작업을 편집 crontab -e -l현재 사용자의 크론 작업 목록 출력crontab -l-r현재 사용자의 크론 작업 삭제crontab -r-i-r 옵션과 함께 사용하면 삭제 전에 확인 요청crontab -i -r-s일부 시스템에서 SELinux 보안 컨텍스트를 유지하며 크론 작업을 실행하는 옵션crontab -s-Vcrontab 버전 출력crontab -V-x디버그 모드 활성화 (ext, load, misc, parse, proc)crontab -x parse 2. 시간 형식분(0-59) 시(0-23) 일(1-31) 월(1-12)..

find [path] [options] [expression] -name "pattern""패턴" 으로 파일 조회-iname "pattern""패턴" 으로 파일 조회-type [f/d/l]유형 [f/d/l] 유형별로 조회 :f (파일),d (디렉토리),l (Symlink).-size [+/-N]c크기별로 조회 :n bytes,+n (큰),-n (작은).-empty빈 파일 또는 디렉토리 조회-user username특정 사용자가 소유 한 파일 조회-group groupname특정 그룹에 속하는 파일 조회-perm 644644 권한 파일 조회-perm -u+x사용자 실행 권한이 있는 파일 조회-mtime [+/-N]며칠전에 수정 된 파일 조회 (+N = older, -N = newer).-atime [+/-..