【Airflow踩坑】XCom大数据传递反序列化失败
我在做一个ETL任务时，发现上流任务的返回值（5W条数据），无法在下流任务中解析出来。
查看全文
总结
-
01 2022年01月
-
19 2021年12月
【入门Airflow】 如何实现动态DAGs ？利用多任务提升效率
静态多任务造点假数据from faker import Fakerimport pymongofaker = Faker(locale='zh_CN')client = pymongo.MongoClient("mongodb://localhost:27018")coll =
查看全文 -
18 2021年12月
【入门Airflow】Connection管理|如何连接数据库？
在很多时候，我们都在和数据是打交道，所以经常会去做一些数据库连接，比如Mysql、Mongo等等。 如果直接把数据库连接写在DAG中，这虽然是可行的，但这会暴露数据库连接等敏感信息，并且当数据库连接信息发生变化时，维护成本也将大大提升。
查看全文 -
16 2021年12月
-
16 2021年12月
【入门Airflow】 使用Docker在本地快速搭建Airflow
前言本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ，并且附上安装过程的截图。其实官方文档步骤写得都是比较详细，奈何这英语能力真的拉跨。不过还是建议大家在使用过程中遇到的任何问题，优先去查看官方文档，有奇效。官方文档：https://airflow.apache.org/
查看全文
