一文读懂数据工程的基础知识

对于所有数据工程新手来说，了解数据工程的基础知识至关重要。本文将是您进一步学习数据工程的跳板。 数据工程是每家数据驱动型公司的基石。从数据收集到决策，几乎所有数据使用步骤都依赖于数据工程。它堪称现代公司的 血液。数据流？没错，创建数据流正是数据工程师的工作之一。但我们先别急，先从基础开始。我们先来定义一下数据工 程，然后再详细讨论它的基本组成部分。 一 数据工程的定义 数据工程是设计、构建和维护系统的过程，该系统可以收集数据、存储数据、分析数据并基于数据做出决策。 这是所谓的"数据提供者"的工作之一，因为其目的是让其他数据用户（例如数据分析师、数据科学家、机器学习工程师）能 够访问数据，同时确保数据质量、准确性和格式适用性。 二 数据工程的基础知识 只有了解数据工程的基本原理才能更好地理解数据工程。 基础1：数据源和数据获取 数据工程师通常从许多不同的来源提取数据，并将其存储在一个地方，例如数据仓库。这个过程称为 数据提取 。 有几种不同类型的数据源、数据提取方法和工具。 数据源类型 根据数据类型，数据源可分为以下三类之一。 1.结构化数据源 结构化是指数据遵循预定义的模式，该模式将数据组织在由行和列组成的表 ...