2024-06-11
大数据分析基础设施和资源利用问题 问题可能出在系统本身，这意味着它已达到其可扩展性极限，也可能是组织的硬件基础设施不再足够。这里最简单的解决方案是升级，即为系统添加更多计算资源。只要它能在可承受的预算范围内帮助改善系统响应，并且只要资源得到合理利用就很好。
系统平台在进行大数据挖掘分析处理时，主要面临的挑战包括数据复杂性、技术局限性、隐私和安全问题，以及计算资源的需求。首先，数据复杂性是一个重大挑战。大数据通常来自多种不同的来源，如社交媒体、日志文件、事务数据等，这些数据具有不同的格式和结构，包括结构化、半结构化和非结构化数据。
数据分析的效果可能在短期内不明显。数据分析需要一个不断试错的过程，短期内可能难以证明方法的有效性，因此可能难以获得其他利益相关者的支持。 将分析转化为具有指导意义的结论是一项挑战。例如，某应用的近40个设置项的使用比例分析显示，修改皮肤的使用率较高，而单个选项的使用率不到0.1%。
数据质量及准确性问题。数据质量问题：大数据环境下，数据的来源多种多样，数据质量参差不齐。可能存在大量无效、重复、错误的数据，这会影响数据分析的准确性和可靠性。准确性受限：大数据分析的结果往往基于大量数据，但如果这些数据本身存在偏差或错误，那么分析结果的准确性就会受到影响。
大数据真正的难点，是花费了巨额成本和大量精力，得到的数据没法转化成实际的效果。数据向大数据转化了，可是使用配合数据的整个行动框架没有变化，或者还没法跟上大数据的变化，那就形成了错位。所以目前用的最好的大数据都是高价值实时应用场景下有明确对应关系的情况，比如安全领域、物流内部管理领域等。
工业大数据应用难点有：一是大数据技术的运用困难，存在数据不足、数据信噪比低以及数据分析难度高等问题。二是大数据给信息安全带来新挑战，如工业大数据加大了隐私泄露的风险，对现有存储和安全措施提出了更高要求，以及大数据正在被运用到新的攻击手段中。
1、因子分析方法 所谓因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。因子分析的方法约有10多种，如影像分析法，重心法、最大似然法、最小平方法、抽因法、拉奥典型抽因法等等。
2、描述型分析：发生了什么？最常用的四种大数据分析方法 这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。
3、对比分析对比分析法不管是从生活中还是工作中，都会经常用到，对比分析法也称比较分析法，是将两个或两个以上相互联系的指标数据进行比较，分析其变化情况，了解事物的本质特征和发展规律。在数据分析中，常用到的分3类：时间对比、空间对比以及标准对比。
4、大数据分析方法：描述型分析：这种方法向数据分析师提供了重要指标和业务的衡量方法。例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。
大数据分析师的岗位职责是：收集汇总、整合外部网络平台、同行业及公司内部的经营管理及客户资源等数据；清洗数据，利用数据分析软件分析数据规律，出具分析报告；根据分析结果为公司的经营提供有效建议，为领导决策提供参考；对所搜集数据进行精准分析，给集团决策层提出合理化建议。
获取数据 获取相关的数据，是数据分析的前提。数据处理 获取数据，把数据处理成自己想要的东西。形成报告 把数据分析的结果可视化，展现出来。
数据采集 数据采集的意义在于真正了解数据的原始相貌，包含数据发生的时间、条件、格局、内容、长度、约束条件等。这会帮助大数据分析师更有针对性的控制数据生产和采集过程，避免因为违反数据采集规矩导致的数据问题；一起，对数据采集逻辑的知道增加了数据分析师对数据的了解程度，尤其是数据中的反常变化。
咨询顾问 面向客户，为客户提供数据抓取、数据分析、出数据报表、改进建议落实等咨询服务，需要有较好的沟通能力，需要懂1-2门数据分析工具如SAS、R等；（咨询顾问其实也分技术和非技术，技术类的主要是为客户搭建数据平台）。
大数据部分：涉及到”大数据“已经不是我个人工作内容部分了，而是整组的工作内容。具体需要有专门比较懂hadoop和spark的人负责在上面跑数据，写最终实现代码。我们组里的分工大概就是：数据分析师，数据工程师，（半个产品经理），有人身兼三种，有人只爱专精。技能点：无特定加点法则，团队加点。
数据分析主要是做数据的收集、挖掘、清洗、分析，最后形成具有业务价值的分析报告. 大包括数据体量的大，也包括数据维度的广.大数据工程师是个很重要的工作，就是通过分析数据来找出过去事件的特征。通过引入关键因素，大数据工程师可以预测未来的消费趋势。
1、大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。大数据的采集。
2、大数据分析：是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大（Volume）、速度快（Velocity）、类型多（Variety）、价值（Value）、真实性（Veracity）。
3、大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
大数据开发：简单粗略来说就是用工具实现大数据分析后所需要得出的结果。简单理解，大数据开发就是制造软件的，只是与大数据相关而已，通常用到的就是与大数据相关的开发工具、环境等等。
简单点来说，大数据开发就是做大量数据的分布式计算的。数据分析主要是做数据的收集、挖掘、清洗、分析，最后形成分析报告想学的话可以参考下科多大。
大数据开发工程师 分两种：第一是编写一些Hadoop、Spark的应用程序；第二是对大数据处理系统本身进行开发。对理论和实践要求的都更深一些，也更有技术含量。
大数据开发主要的工作是负责搭建大数据应用平台以及开发分析应用程序。大数据分析主要是运用相关技术对数据搜集、整理、分析，并依据数据做出行业研究、评估和预测。
大数据开发是在大数据平台基础之上的开发，充分利用大数据平台提供的功能来满足企业的实际需求。大数据开发工程师主要工作：开发，建设，测试和维护架构，负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等；大数据分析是大数据应用的一个重点。
1、在数字化时代，大数据已经渗透到我们生活的方方面面。它不仅代表着海量的数据，更是蕴藏着无尽的价值。让我们一起探索大数据的奥秘，解锁其背后的4V特点，发现它在当今世界的重要性。Volume（大量）大数据最直观的特点是Volume（大量）。数据量呈爆炸式增长，从GB到TB，再到PB、EB级别。
2、答案就在于“数据挖掘”。这是一场智慧的冒险，始于大量的、不完美的、带着噪音和模糊性的数据。但只要你掌握这把“金钥匙”，那些隐藏在数据背后的神秘宝藏，那些鲜为人知的潜在知识，都会一一为你揭晓。明确目标，照亮旅程首先，我们要清晰地定义出业务问题，明确数据挖掘的目的。
3、探索大数据的奥秘数据分析工具如同神奇的魔法棒，能帮助我们从海量数据中提炼出有用的信息和规律。通过深入挖掘，我们可以洞察市场动态，发现潜在商机，从而做出更明智的决策。大数据处理之预测未来大数据处理不仅是对数据的简单处理，更是对未来的预测。通过各种算法的运算，我们可以预测市场趋势，为企业发展提供有力支持。
4、海量数据是指规模极其庞大、类型多样且增长迅速的数据集合。这些数据通常来自于各种来源，包括社交媒体、企业数据库、物联网设备、科研实验等，呈现出大数据的4V特征：Volume（容量大）、Velocity（增速快）、Variety（类型多）和 Veracity（准确性）。
5、大数据指的是从多种来源搜集的庞大数据集，这些数据集通常具有实时性，并且需要特殊的处理模式以便获得更强的决策力、洞察力和流程优化能力。