2024-06-19
1、主流的大数据分析平台构架：Hadoop Hadoop采用MapReduce分布式计算框架，根据GFS开发了HDFS分布式文件系统，根据BigTable开发了HBase数据存储系统。Hadoop的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon以及国内的百度，阿里巴巴等众多互联网公司都以Hadoop为基础搭建自己的分布。
2、数据仓库模块 这是整个架构的核心，数据仓库是数据有组织的集中存储的地方，负责数据的存取和管理。元数据管理模块 主要负责记录和约束数据仓库中数据的含义和格式，控制着数据的生命周期和数据质量。分析引擎模块 数据分析师交互最多的模块，主要负责执行各种分析语句或代码，完成各种分析任务。
3、Hadoop：Hadoop 框架基于 Map Reduce 分布式计算，并开发了 HDFS（分布式文件系统）和 HBase（数据存储系统），以满足大数据的处理需求。它的开源性质使其成为分布式计算领域的国际标准，并被 Yahoo、Facebook、Amazon 以及中国的百度、阿里巴巴等知名互联网公司广泛采用。
4、数据概览和数据拆分 数据概览，需要有重要指标的趋势，变化情况，重要拐点成因解释。数据拆分，需要根据需要拆分不同的维度，作为细节补充。这里基本上就是之前说的数据分析方法了。如果需要对方知道对比或者趋势，则使用图，如果需要对方知道具体数据，则使用表。表格对需要强调的数字要做明显标识。
5、一个完整的系统架构设计应该包括以下内容：功能需求分析：对系统的功能需求进行细致的分析和定义，明确系统需要实现的功能和目标。系统模块划分：将系统按照功能或业务进行模块化划分，划定各个模块的职责和功能，并建立模块间的依赖关系。
6、业务架构是对于业务的框架性描述，一般分层展开，如运营支撑、作业执行、业务管控（监控、预警、风控）、决策分析。业务架构中的数据，包括内部数据、外部系统数据、用户使用行为数据，共同组成一个数据流的闭环。应用架构 从业务机构中来，分系统进行功能模块描述。
1、高效缓存 需求高效的缓存功用。绝大部分场景，都需求能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。体系需求供给一高效机制，让用户能够获取全部、或契合过滤条件的部分设备的最新状态。 实时流式核算 需求实时流式核算。
2、数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。
3、大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
4、优秀的大数据平台应该能够在数据分析、大数据编程、大数据仓库、大数据案例、人工智能和数据挖掘等方面展现出优异的性能。现在，让我们来看一下几个主流且优秀的大数据平台： Apache Flume：Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。
5、并行计算（MPP Computing）也是大数据技术的一部分。Z-Suite是一个基于MPP架构的商业智能平台，它能够将计算任务分布到多个计算节点，并在这些节点上汇总计算结果。这种架构能够充分利用各种计算和存储资源，无论是服务器还是普通PC，对网络条件的要求也不高。
1、大数据学习内容主要有：①JavaSE核心技术；②Hadoop平台核心技术、Hive开发、HBase开发；③Spark相关技术、Scala基本编程；④掌握Python基本使用、核心库的使用、Python爬虫、简单数据分析；理解Python机器学习；⑤大数据项目开发实战，大数据系统管理优化等。
2、大数据技术专业属于交叉学科：以统计学、数学、计算机为三大支撑性学科；生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才（有专业知识、有数据思维）。
3、学的主要内容有：①JavaSE核心技术 ②Hadoop平台核心技术、Hive开发、HBase开发 ③Spark相关技术、Scala基本编程 ④掌握Python基本使用、核心库的使用、Python爬虫、简单数据分析；理解Python机器学习 ⑤大数据项目开发实战，大数据系统管理优化 ⑥云平台开发技术 整体来说，大数据课程知识点多，课程难度较大。
4、大数据专业主要学习与大规模数据处理、分析和应用相关的知识和技术。数据基础 大数据专业学习的第一个重点是数据基础知识，包括数据结构、数据库原理、数据管理和数据挖掘等。学生需要了解不同类型的数据结构，如数组、树、图等，以及常用的数据库系统和数据挖掘算法，为后续的大数据处理和分析打下基础。