project - Pipe Line 구성1

Docker, k3s, airflow, postgresql 로 수집, 가공, 적재, power bi시각화 까지 진행할 예정.

1. Docker 설치
sudo apt update
sudo apt install -y docker.io
sudo usermod -aG docker $USER
newgrp docker  # 또는 재로그인
docker version

2. kubectl 설치 (Kubernetes CLI)
sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl
sudo curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | \
  sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt update
sudo apt install -y kubectl

# 홈 디렉토리에서 실행 권장
cd ~
# 최신 버전의 kubectl 다운로드
curl -LO "https://dl.k8s.io/release/$(curl -Ls https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
# 실행 권한 부여
chmod +x kubectl
# 시스템 전역으로 이동
sudo mv kubectl /usr/local/bin/
# 설치 확인
kubectl version --client

3. k3s 
curl -sfL https://get.k3s.io | sh -

kubectl get nodes

unset KUBECONFIG
sed -i '/KUBECONFIG/d' ~/.bashrc
source ~/.bashrc

mkdir -p ~/.kube
sudo cp /etc/rancher/k3s/k3s.yaml ~/.kube/config
sudo chown $(id -u):$(id -g) ~/.kube/config

4. Helm 설치
curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash
helm version

5. PostgreSQL 설치 (Helm 차트)
helm repo add bitnami https://charts.bitnami.com/bitnami
helm install my-postgres bitnami/postgresql \
  --set auth.postgresPassword=패스워드


6. Apache Airflow 설치 (Helm 차트)
helm repo add apache-airflow https://airflow.apache.org
helm repo update

helm install airflow apache-airflow/airflow \
  --set executor=KubernetesExecutor \
  --set postgresql.enabled=false \
  --set externalDatabase.type=postgres \
  --set externalDatabase.host=my-postgres-postgresql.default.svc.cluster.local \
  --set externalDatabase.user=postgres \
  --set externalDatabase.password=패스워드 \
  --set externalDatabase.database=postgres

  
7. Airflow UI 접속
kubectl port-forward svc/airflow-web 8080:8080

 

진행하며 수정되는 설치 명령어 수정할 예정.