数据科学家和工程师通常使用非结构化数据从原始格式的数据湖中获取新鲜而独特的业务洞察。相比之下,管理人员和业务最终用户通常从数据仓库中访问数据,这些数据已经结构化,可以为预先确定的查询提供答案以供分析,并深入了解业务 (关键绩效指标)。
数据建模
数据建模涉及开发数据实体及其相互关系的概念表示。此过程通常包括多个阶段,例如收集需求、概念化、逻辑和物理设计以及实施。在每个阶段,数据建模者与利益相关者合作,理解数据需求,识别实体,建立数据实体之间的联系,并创建一个精确表示数据的模型,方便软件开发人员和数据库管理员。
数据抽象的作用是将数据主体压缩为简化的表示形式。数据建模中有三个抽象级别:
物理层面
概念层: 数据建模的概念 丹麦手机号码数据 层是最高抽象层。在这一层,重点是了解业务需求以及利益相关者如何使用数据。
逻辑层次: 数据建模的逻辑层次侧重于将概念数据模型转换为可以在数据库管理系统 中实现的更详细的表示。
物理层: 数据建模的物理层 实现此销售目标的技巧 是最低的抽象层。在此层,重点是使用特定的 物理实现逻辑数据模型。物理数据模型定义数据库模式,包括表、列、数据类型、索引和其他物理存储细节。
主要数据区
从技术角度来看,采集和管理是数 手机号码 据湖中位于其他主要区域之间的两个数据区域。数据区域的运作方式为“阶段门”,每个门都有特定的用途。这些门的独特之处在于没有重叠,这意味着整个过程中所有的消费模式并不完全一致。
在数据湖架构中,着陆区和处理区是两个用于多种功能的不同区域。