Docker安装airflow(超详细)单机,集部署教程
基于这个项⽬ :git clone github/puckel/docker-airflow
上图的⽂件解压后如图:
### 更改配置⽂件vim airflow.cfg
### ⽂件移动
docker-airflow底下所有⽂件放进 /usr/local/airflow
docker的安装这⾥不再列出参考:
启动:docker-compose -f docker-compose-CeleryExecutor_not_l up
创建python环境和导出包:
### python环境创建
* 选着web容器 docker ps | grep airflow_webserver
docker进入容器* 进⼊ docker exec -it -u root [容器id] /entrypoint.sh bash
* 导出安装包 pip freeze >>
* 查看Python版本 python -V
* 复制容器⽂件 docker container cp <;容器id>:<;容器⽂件路径> <;主机⽂件路径>
创建conda Python dev环境
conda create -n airflow python=3.7.9
conda activate airflow
进⼊dev环境
安装包
安装python包:
pip install -
yum install mysql-devel gcc gcc-devel python-devel
pip install psycopg2-binary
pip install mysqlclient==1.3.14
修改环境变量:
vi /etc/profile
export AIRFLOW_HOME=/usr/local/airflow/workerconfig
export C_FORCE_ROOT="true"
source /etc/profile
查看当前环境变量: env
启动worker:
查看worker占⽤的端⼝: lsof -i tcp:8793
启动命令测试⼀下
airflow worker
执⾏成功
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论