数据工程师路线图🗺

介绍

💻 基本原理

👩‍💻 编程基础

🧪 测试

📊 数据库基础知识

🏠 数据仓库

📦 对象存储

⚡ 数据处理

📩 消息

💽 集群计算

⏲ 工作流调度

📺 监控数据管道

👨‍💻 基础设施即代码

🛫 CI/CD

结论

介绍

这篇文章的灵感来源于@ender_minyard撰写的《全栈开发者路线图》 🙌

随着数据量和需求的不断增长，数据工程师这一职业在过去几年中一直是增长最快的职业之一。

根据Stack Overflow 2021 年的调查，数据工程师是收入最高的五大专业人士之一，仅次于 SRE 和 DevOps 工程师：

如果你想成为一名数据工程师，这里有一些数据工程方面的资源，你可以保存下来以后使用。

目录

• 💻 基本原理
• 👩‍💻 编程基础
• 🧪 测试
• 📊 数据库基础知识
• 🏠 数据仓库
• 📦 对象存储
• ⚡ 数据处理
• 📩 消息
• 💽 集群计算
• ⏲ 工作流调度
• 📺 监控数据管道
• 👨‍💻 基础设施即代码
• 🛫 CI/CD

💻 基本原理

在许多IT相关岗位上，对Linux操作系统有扎实的了解至关重要。如果您掌握以下基础知识，将会受益匪浅：

• 终端基本用法https://devdojo.com/course/linux-command-line-basics
• Shell脚本
• Git 和 GitHub
• 联网

👩‍💻 编程基础

与任何IT相关职位一样，具备基本的编程知识至关重要。编程语言本身并不那么重要，但你需要对编程范式和最佳实践有深入的理解。

• Python
• Java
• 去
• PHP

🧪 测试

• 单元测试
• 功能测试

📊 数据库基础知识

对于所有数据工程师来说，扎实掌握 SQL、数据规范化和 ACID 事务知识是必不可少的。

• SQL基础知识
• OLTP 与 OLAP
• 水平与垂直缩放

关系型数据库

• MySQL / MariaDB
• PostgreSQL

非关系型数据库

• 文档：MongoDB、Elasticsearch
• 宽列：Apache Cassandra、Apache HBase
• 图：Neo4j
• 键值对：Redis、Memcached

🏠 数据仓库

• 雪花
• 普雷斯托
• Apache Hive

📦 对象存储

• AWS S3
• DigitalOcean Spaces
• Google Cloud Storage

⚡ 数据处理

批

• 阿帕奇猪
• 阿帕奇箭

杂交种

• Apache Spark
• Apache Beam

流媒体

• Materialize——用于实时分析的流式数据库
• Apache Kafka
• 阿帕奇风暴

📩 消息

• RabbitMQ
• Apache ActiveMQ

💽 集群计算

• Apache Hadoop和HDFS
• MapReduce

⏲ 工作流调度

• Apache Airflow
• Apache Oozie

📺 监控数据管道

• 普罗米修斯
• 数据狗

👨‍💻 基础设施即代码

• 容器：Docker
• 编排：Kubernetes、Docker Swarm
• 配置：Terraform
• 自动化：Ansible

🛫 CI/CD

• GitHub Actions
• 詹金斯

结论

这篇博文的灵感来源于数据工程师路线图开源仓库，链接如下：

https://github.com/datastacktv/data-engineer-roadmap

我希望在路线图的基础上，为每个主题提供一份资源列表。

如果我遗漏了什么，请告诉我！希望这对你有帮助，也请继续学习哦🙌

你可以在推特上关注我：@bobbyiliev_