1、大数据清洗与融合技术

大数据清洗融合技术旨在将各种不同形态、来源、格式、特点的数据在逻辑上或物理上有机地集中，为后续的数据处理提供支持。该部分技术主要包括数据清洗﹑数据融合和一致性保护三个部分。

（1）数据清洗

数据清洗指对数据进行重新审查和校验的过程，目的在于删除重复信息﹑纠正存在的错误，并提供数据—致性。

（2）模式对齐

模式对齐是指将多种数据源的不同数据模式，通过格式转换、合并、分解、泛化等手段，整合成统一的、便于处理的统一数据模式。

（3）记录关联

记录关联是指将不同形式表示的数据链接在一起形成一个完整的表示。

2、大数据的处理框架

大数据处理框架主要是为大数据解决方案中涉及的各层和高级组件提供一个高可用性以及可扩展的逻辑架构，可以满足各种数据量的数据业务的需求。该部分技术主要包括数据存储、索引流数据处理等技术

（1）数据存储

数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。

（2）索引

索引是一种特定的数据结构，将数据块中的关键信息按某种高效结构进行组织，使得用户可以快速查找到符合查询条件的数据块。

（3）数据处理技术

数据处理技术包括MapReduce和流处理等技术。

3、大数据建模与分析

大数据建模与分析是用数据挖掘和机器学习方法对杂乱无章的大规模数据进行建模与分析、萃取和提炼有用信息并形成结论，以找出所研究对象的内在规律。大数据建模与分析主要包括数据挖掘﹑机器学习、人工智能、众包等技术。

（1）数据挖掘

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程，一般通过统计、在线分析处理、情报检索﹑专家系统和模式识别等诸多方法来实现上述目标。

（2）机器学习

机器学习所关注的是计算机怎样模拟或实现人类的学习行为以获取知识或技能，重新组织已有的知识结构使之不断改善自身的性能。其中最具有代表性的是深度学习。

（3）人工智能

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术。

（4）众包

众包是一种分布式的问题解决和生产模式问题，以公开招标的方式传播给未知的解决方案提供者群体。

4、大数据可视化

所谓大数据可视化是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。

5、大数据隐私保护

在大数据时代，保护隐私非常重要。有许多方法可以帮助保护个人隐私。例如，可以使用加密技术来保护数据，以防止未经授权的访问。还可以使用隐私保护法律来规定个人数据的使用方式，以确保个人隐私得到保护。此外，个人也可以采取行动，例如审慎选择与哪些公司或组织分享个人信息，并对使用互联网时的隐私进行保护。