究极进阶版- 记录Zoomcamp从0开启ny_taxi表的步骤

打开Docker desktop

创建网络

docker network create pg-network 同名网络只能创建一次，后续若再次创建相同名称的网络，会提示Error response from daemon: network with name pg-network already exists

将postgres:13这个container放入网络

在 /h/data-engineering-zoomcamp/01-docker-terraform/2_docker_sql路径下执行

docker run -it \
  -e POSTGRES_USER="root" \
  -e POSTGRES_PASSWORD="root" \
  -e POSTGRES_DB="ny_taxi" \
  -v "h:\data-engineering-zoomcamp\01-docker-terraform\2_docker_sql\ny_taxi_postgres_data:/var/lib/postgresql/data" \
  -p 5432:5432 \
  --network=pg-network \
  --name pg-database \
  postgres:13

创建完成后，第二次进入只需要启动容器docker start pg-database

将dpage/pgadmin4这个container放入网络

docker run -it \
  -e PGADMIN_DEFAULT_EMAIL="admin@admin.com" \
  -e PGADMIN_DEFAULT_PASSWORD="root" \
  -p "8080:80" \
  --network=pg-network \
  --name pgadmin \
  dpage/pgadmin4

创建完成后，第二次进入只需要启动容器docker start pgadmin

打开localhost

浏览器中输入localhost:8080,输入前面创建pgadmin的邮箱和密码进入

执行python脚本加载数据

先设置临时环境变量，这是我们下载代码的 url

URL="https://github.com/DataTalksClub/nyc-tlc-data/releases/download/yellow/yellow_tripdata_2021-01.csv.gz"

这里执行这个 .py 的指令是：

python ingest_data.py \
--user=root \
--password=root \
--host=localhost \
--port=5432 \
--db=ny_taxi \
--table_name=yellow_taxi_trips \
--url=${URL}

执行效果：

DONE.