Featured image of post 如何在M1,M2中安裝Airflow

如何在M1,M2中安裝Airflow

垃圾Macbook,幹一堆東西都不能裝。ARM架構的電腦總是會有各種奇怪的問題,包括如何安裝Airflow

參考

參考影片如下 Apache Airflow for Data Science #1 - How to Install Airflow Locally in 10 Minutes

教學

  1. 首先先下載Anaconda

Anaconda是一個開源的Python發行版本,旨在簡化Python開發和數據科學工作的流程。它包含了許多常用的Python套件和工具,並且提供了一個方便的環境管理系統。

Anaconda包含了Python解釋器以及一個稱為Conda的包管理和環境管理系統。Conda可以用於安裝、升級和刪除Python套件,並可以管理不同版本的套件和它們之間的相互依賴關係。這使得在不同的項目中使用不同版本的套件變得容易,同時避免了套件之間的衝突。

除了Python解釋器和Conda外,Anaconda還包含了許多常用的Python套件,如NumPy、Pandas、Matplotlib、SciPy等,這些套件在數據科學和科學計算領域非常流行。此外,Anaconda還提供了一個名為Jupyter Notebook的環境,用於交互式的編寫和執行Python代碼、數據可視化和文檔編寫。

總的來說,Anaconda為Python開發者和數據科學家提供了一個便捷的工具集,使得安裝和管理Python套件變得更加容易,同時提供了一個豐富的生態系統,包含了許多常用的套件和工具,使得開發和數據科學工作更加高效和便利。

我個人是從這邊下載的

https://docs.anaconda.com/free/anaconda/install/mac-os/

這邊提供幾個常見的conda指令

  1. 查看版本
1
conda -V 
  1. 查看環境列表
1
conda env list
  1. 啟動環境
1
conda activate <環境名>
  1. 退出環境
1
conda deactivate
  1. 創建虛擬環境
1
conda create --name airflow_env python=3.9 -y

如果成功的話,iterm2會顯示成這樣的畫面

image-20230707195438483

  1. 在terminal中執行指令
1
pip install "apache-airflow==2.2.3" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.2.3/constraints-no-providers-3.9.txt"
  1. 初始化資料庫
1
airflow db init
  1. 進入airflow資料夾中
1
cd ~/airflow

ls應該可以看到下面這些資訊

image-20230707200032473

  1. 創建airflow使用者
1
airflow  users create --username admin --password admin --firstname hoxton --lastname Hsu --role Admin --email piyan@yahoo.com.tw
  1. 啟動Aiflow
1
airflow webserver --port 8080 -D
1
airflow scheduler -D

demo

Licensed under CC BY-NC-SA 4.0