01产品经理讲数据分析之数据分析相关概念介绍

01产品经理讲数据分析之数据分析相关概念介绍

一些概念

数据库:关系型数据库(Oracle,Microsoft SQL Sever,MySQL)、非关系型数据库(edis,MongoDB,Neo4j)

数据仓库(1990年):比尔·恩门(Bill Inmon,数据仓库之父)于1990年提出。为了避免冷数据与历史数据的积压对我们业务数据库效能产生影响,企业需要定期将冷数据从业务数据库中转移出来存储到一个专门存放历史数据的仓库里面,各部门可以根据自身业务特性对外提供统一的数据服务,这个仓库就是数据仓库。

数据湖(2010年):阿里云“数据湖是统一存储池,可对接多种数据输入方式,您可以存储任意规模的结构化、半结构化、非结构化数据。数据湖可无缝对接多种计算分析平台,根据业务场景不同,可以选择相应的计算引擎对数据湖中存储的数据进行数据处理与分析,从而打破孤岛,挖掘业务价值。”

数据中台(2015年):2015 年年中,马云带领阿里巴巴集团高管拜访了一家芬兰的小型游戏公司 Supercell。旅程结束之后,马云决定对阿里巴巴的组织和系统架构进行整体调整,建立阿里产品技术和数据能力的强大中台,构建“大中台,小前台”的组织和业务体制。

解决企业在发展过程中,由于数据激增与业务的扩大而出现的统计口径不一致、重复开发、指标开发需求响应慢、数据质量低、数据成本高等问题。通过一系列数据工具(元数据中心、数据指标中心、数仓模型中心、数据资产中心-资产质量/治理/安全、数据服务中心等),规范数据供应链的各个环节。

湖仓一体(2020年):阿里云MaxCompute“湖仓一体”方案,打通数据仓库和数据湖两套体系,让数据和计算在湖与仓之间自由流动,从而构建一个完整的有机的大数据技术生态体系。

数据编织(Data Fabric)2022年:数据编织是一种通过连接的方式动态收集、管理与使用数据的综合架构,其结合了关键数据管理技术,例如数据目录、数据治理、数据集成、数据管道和数据编排

数据中台概念

数据中台是一种数字化综合解决方案。数据中台采集、计算、存储和处理海量数据,保证数据的标准统一和口径一致,建立全域级、可复用的数据存储能力中心和数据资产中心,组件化服务模块,提高数据共享和复用能力,灵活高效地解决前台的个性化需求。

狭义来看,数据中台是一套实现数据资产化和服务复用的工具;是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题,所以先撇开业务需求、把企业所有的数据都抽取出来放到一起,成为一个大的数据集,其中有结构化数据、非结构化数据等。当业务方有需求的时候,再把他们需要的若干个小数据集单独提取出来,以数据集的形式提供给数据应用。

广义来看,数据中台是一套运用数据推动企业数字化转型升级的机制和方法论相较数据工厂时代,数据中台立于业务数据的积累沉淀,破于数据收集、整合、分析及应用的生态闭环。数据中台始于业务,用于业务,循环往复的理念与数据价值时代下数据资产价值最大化的目标相契合。

数据分析一般流程

ETL--清洗--建模分析--对外服务(数据可视化、api、数据报告……)

核心架构

产品价值

核心价值:提升数据治理,改造业务流程,深化数据应用

数据中台致力于解决原有数据关系及SOA架构解决企业“数据烟囱”问题,打通数据孤岛,通过完善数据标准体系、强化数据质量管控、统一管理元数据等方式加强数据治理,提升数据可用性,实现数据资产化。数据中台在改造企业业务流程, 打通数据壁垒的同时,也打通了企业部门间和事业群之间的业务壁垒,消除“部门墙”产生的冲突,极大提升了企业组织灵活性。数据中台的设计定位是基于企业的顶层战略,集中体现了企业的顶层框架和业务逻辑。数据中台对企业全域数据资产进行开发和应用,实现了统一可比可算,让数据具备了敏捷服务能力,满足了企业各层级对数据服务能力的智能和快速调用,让数据价值最大化赋能业务决策。

数据中台、业务中台、技术中台

技术中台抽象、封装和沉淀公共技术组件的可复用能力,以平台形式对外输出技术能力。技术中台核心特点为云原生和微服务,通过API网关实现前端逻辑和后端支撑的安全分离和独立开发,有效应对高频海量业务访问场景。技术中台的设计和实施只需具备技术属性,不能把业务逻辑封装进去,否则就偏离了技术中台能力抽象与标准输出的本质。

业务中台承载企业核心业务,实现企业级的业务能力复用和业务板块协同,提升创新效能。业务中台的典型特点是涉及领域多,需求变化快,业务场景逻辑复杂。在设计和实施中,需要划分业务领域边界,形成共享服务模块,建立分布式微服务体系,为前台应用提供可共享服用的业务能力。

此外,也有观点认为业务中台偏事务,数据中台偏分析

产业图谱

生成海报
点赞 0

administrator

我还没有学会写个人说明!

相关推荐

微信 微信
微信