2021年大数据技术的五个发展趋势？

一、2021年大数据技术的五个发展趋势？

一数据融合与数据价值挖掘

二数据敏捷型经济体

三知识图谱与决策智能

四产业物联网提速

五数据安全热度持续上升

进入2021年，大数据已经从单纯的技术体系，向着与实体经济结合、真正挖掘和发挥数据价值的方向发展。特别是新冠疫情和新基建，加速了大数据与实体社会基础设施的快速融合，而5G与物联网等的快速发展也进一步加大了大数据与实体经济的深度融合。随着数博会即将进入第6个年头，大数据将真正深入到社会经济的方方面面，推进下一轮经济长周期。

二、数据库技术的发展趋势是什么？

前言

22 年 12 月 14 - 16 号是中国 DTCC 数据库技术大会，由于疫情的影响，今年大会分享全部改到线上直播了。个人主要观看了 14 号、16 号两天技术分享，所以这里结合各位大佬的技术分享，整体做一个观后的总结和个人思考，加深一下个人整体的认识，同时也期望能够对大家能够有所帮助，大家有什么想法欢迎关注我的公众号进行交流。如果有不对的地方，也欢迎指出。下面是这三天的大会技术专场的议程：

一、数据库发展趋势闲聊

14 号这天个人主要看了上午场（数据智能 价值创新）和下午场（数据库内核技术）两个专场，上午主要观看了腾讯云（王义成）、华为云的 GaussDB（苏光牛）、PolarDB（李飞飞）、OceanBase（杨志丰）三位大佬的技术分享，主要是对数据库发展趋势的看法以及他们自家数据库的演进方向的思考。下午由于时间关系，数据库内核技术主要看了 StarRocks、PolarDB-X 两场技术分享，所以 14 号这天整体的个人总结主要从这些技术分享中带来的个人思考，下面先聊聊对数据库发展趋势的看法。

1.1 Serverless

对于数据库未来的趋势之一：serverless，这次听到这个词还是蛮多的。serverless 即无服务化，用户在使用数据库服务时，不需要关注数据库服务器的运维和管理成本，这些繁琐的管理交给云仓商来托管，用户主要专注自己应用架构设计和业务即可。对于未来云上数据库，serverless 必定是终态之一。个人还是非常认可这个观念的，serverless 能为用户带来主要以下两个好处：

1. 无须关注数据库服务器繁琐的管理和运维成本
2. 资源弹性扩缩容，使用户按需按量付费

这里重点说下第二点，传统模式下，用户在使用数据库服务时，需要结合实际业务的情况，通过对业务的 QPS、TPS、数据量等提前预估所需要的资源，最终来估算自己需要准备多少机器，然后提前一个月和运维部门沟通好，提交采购申请，最终使用完后，还需要想办法将采购的资源消化掉，这类情形在双十一大促期间尤为明显，这种模式下，有以下几个问题：

1. 使用方需要提前预估计算资源，如果资源预估不准，会对业务以及成本有很大的影响，机器资源评估过少，当业务流量扛不住，对公司业务有影响，机器资源预估过多，会浪费很大的机器成本。
2. 一次资源扩缩容链路过长，同时整个过程时间很久，同时在业务使用完后，还需要消化剩余的机器资源。一次资源扩容的需求，公司的人力成本过大。

所以使用 serverless 服务能够做到资源弹性扩缩容，同时做到按需按量付费。当然 serverless 弹性扩缩容具体能够做到什么程度，实际扩缩容的时间、扩缩容与实际业务使用资源的差异、扩缩容对于线上业务的影响，对于用户使用体验和成本，影响都很大。对于数据库内部冷热数据，也可以做到 serverless，把不经常使用的数据放到冷数据底层的存储，降低存储成本。

我看阿里云和中国信通院云大所联合发布了《Serverless数据库技术研究报告》，我还没有看，感兴趣的同学可以去看看。同时也可以看下伯克利关于 serverless 的 这篇Paper（李飞飞大佬推荐）：

1.2 存算分离

上面说到 serverless 的弹性扩缩容，那么如何做到用户按需进行扩展（CPU、内存、磁盘）？所以云上数据库存储和计算分离是个很好的思路。

很多传统数据库是 Shared Nothing 架构，计算资源（CPU）和存储资源（内存、磁盘）都是在一台机器上，这样的好处能够降低网络 IO 带来的传输时间成本，最大化提升查询性能。但有一个问题就是，由于计算资源和存储资源都是在一起的，用户在机器扩缩容时，必须同时对计算资源、存储资源一起进行扩缩容，但可能用户只扩容计算资源，不想扩容存储资源，此时这种模式会对存储资源有一定浪费。

存算分离，用户能够分别对存储或者计算资源单独进行扩缩容，按实际业务需要来进行资源调整，进一步节约资源成本。当然存算分离架构下，也有两个不足点：

1. 存储和计算之间会有一层数据网络 IO 传输时间成本，为了降低网络 IO 的影响，一般可以在计算节点上，加一层 Local Cache。
2. 存储分离下，由于网络 IO 容易是瓶颈，会导致集群规模机器数容易受限。

可见，任何技术特性都不是银弹，需要结合实际业务侧需求，来综合评估，很多东西就是 Trade Off。下面是 PolarDB-X 的一张图：

1.3 私有云、公有云、混合云一套架构部署

这个不用多说了，私有云、公有云、混合云一套架构部署，便于数据库的运维和管理，能够提升数据库产品的交付效率，降低产品的交付成本，这对于私有云部署模式，带来的好处尤为明显。

1.4 多模多态一体化数据库

随着社会的发展，人们产生的数据格式越来越复杂，结构化（比如关系型）、半结构化（比如 Json、CSV）、非结构化（比如视频、图片）数据，相应的，单一模型的数据库也已经很难再完全支持公司的业务需求，数据库的种类也越来越多，RDS 数据库、KV 数据库、图数据库、文档型数据库、时序数据库等等。当然，完全通过一款数据库满足用户侧所有的业务需求也不现实，只能说在一款数据库上，尽可能多的来 Cover 业务侧需求。

比如现在 HTAP 数据库，在 TP 的基础上，增加了 AP 的数据分析能力，提升数据库的分析时效性，同时一般会带着 Zero-ETL 的口号一起来宣传，像 GassDB、PingCAP TIDB、阿里 PolarDB、OceanBase、SingStoreDB（原 MemSQL）都在做 HTAP。阿里 ADB 的离在线一体化（离线 ETL 处理 + 在线 OLAP 分析），让数据库尽可能 Cover 离线 ETL 和在线 OLAP 分析需求。阿里的 Lindorm多模数据库，提供宽表、时序、文件、搜索等多种数据模型等等。

1.5 数据库智能化

数据库智能化，主要有两个方向：

1. AI For DB
2. DB For AI

AI For DB，主要思路是结合 AI 机器学习能力，智能化运维和管理数据库，让数据库做到自治化，智能的做到 SQL 性能优化和问题根因诊断。

DB For AI，主要是如何让 DB 来支持更多 AI 场景的需求，怎么做到 AI 模型的抽象、存储、推理等等，这块个人了解的比较少。

1.6 模块化构建数据库

李飞飞大佬认为未来数据库系统内核可以结合用于实际业务侧需要，模块化的组装出数据库，比如用户的需求可能是：读多写少、读少写多的、分析型的、IO 密集型、计算密集型、AI 类的、HTAP 类型等等，相应的需要的存储、计算、带宽等对应的硬件资源，可以使用不同型号和规格的硬件来组装，对于底层机器资源来说，数据库能够做到一套代码，数据库内核各模块在不同形态下的资源类型，同时能够很好的 Work。

个人认为未来数据库内核各模块不仅能够在不同形态下的资源类型进行构建，同时数据库内核也能够进行组装。未来对于一个 DataBase 的研发，可能就是使用已有的数据库中各模块的标准事实开源组件，快速组装出一个 DB，比如 SQL 方言标准（使用 Mysql / PG）、SQL Planner 层（ Apache Calcite / DuckDB ）、Planner 层和 Runtime 层计划序列化通信方式（substrait）、Runtime 层使用( Apache Arrow + Rust Or ClickHouse）、数据湖存储（Iceberg / Hudi / Deltalake）、列存（Parquet Or ORC） 。公司将相对有限的工程资源，尽可能多的投入到差产品异化功能上，这样才能和其他同类产品有竞争优势，形成独特性。

1.7 用户对数据库拥有更强的自主可控性

Blue/Green Deployment 是 AWS 2022 re:Invent 亮相的产品，看网上资料说是一套灰度技术，未来用户想去做某个操作时，但不确定该操作对线上实际业务的影响是什么，此时就可以借助 Blue/Green Deployment 来灰度进行验证，没有问题，在完全切流。

下面这张图片的出处是来源于知乎同学@zhoutall 的文章<a href="https://zhuanlan.zhhttp://ihu.com/p/591406895">《AWS re:Invent 2022数据库内核视角摘要》，感兴趣可以看下他这篇文章，还是非常有收获的。个人看完也非常认可其观点的，现在云数据库场商希望用户做得事情越来越少，所以提供了很多工具，或者解决方案，来帮助和指导用户做决策和执行，但实际用户可能需要更大的自主可控权（对业务影响的可控）。

二、数据库内核技术分享总结

数据库内核技术方面，个人主要听了 OceanBase、Starrocks、阿里云 DLA，所以这里主要讲下这三场分享的总结。

StarRocks 今年主要宣传语是从极速 OLAP 到极速数据湖分析，从原来数据在自己 OLAP 存储到底层存储是数据湖，所以第一步则是在 Connector 做了扩展，支持了 Hudi、Iceberg（v1、v2）、Hive、JDBC 数据源。扩展了新的数据源，那么 FE 的元数据这一层，肯定要能够识别到外部数据源，同时对于外部的数据源元数据获取，增加了 Cache（分区、文件 List、统计信息）。其他也做了各种细节优化，比如 Scan 优化、优化器等等。

StarRocks 今年还做了存算分离，这样的话，计算节点是无状态的，那么可以弹性扩缩容。最值得关注的一点，今年 StarRocks 提出了它们的 StarOS 的设计，StarOS 通过抽象和统一存算分离架构下的分布式逻辑，同时统一了存储，这块听起来感觉不错，具体信息后面看 StarRocks 的分享吧。

阿里云 DLF 主要分享了他们如何做统一的湖仓元数据服务的经验，目前业界开源数仓标准的元数据服务是 Hive MetaStore，所以几乎主流引擎都支持直接从 Hive MdetaStore 中读取数据。但 Hive 本身也有部分局限性：

1. ACID 和 Hive 引擎绑定，同时不支持 Time-Travel 查询数据/元数据
2. 不易于对接内部自家引擎接入，单点问题，同时引擎需要 Thrift 协议接入，高可用的问题。

而在开源权限体系方面，主要有 Hive 自身权限和 Apache Ranger，但它也有各自缺陷：

针对以上两点，所以阿里云做了 DLF 这款产品，统一了湖仓的元数据服务，同时兼容了 HMS 接口，对外也提供标准的 Open API ，方便客户接入。

其他的一些分享，个人记得比较清楚两点是：数据库的迁移工具和数据库容灾。如果你的产品如果想买入到某家客户时，尤其是数据库方面，那么你要考虑到客户存量的业务如何能够方便的迁移到你的产品上来，最好能够非常底成本的、客户无感的迁移。同样，数据库容灾，关乎着企业数据和业务生存问题。

三、个人思考

不得不说，国内在数据库这个领域还是挺卷的，共有 200 多家数据库公司，有 TP 的、AP 的、数仓的、湖仓的等等，但最终能跑出来的可能就几家。当前云上数据库一直都被国内几家云场商占领着，比如阿里云、腾讯云、华为云等等，对于中小型创业公司而言，云肯定是要做的，但在国内市场直接去和几家云厂商 PK 云，当前阶段还是过于激进，赢面较小，选择出海，可能更加明智一些。

中小型创业公司目前主要争取还是私有云场景下独立部署的市场，这样不仅要保证自家产品的质量，同时还要比拼谁家的交付效率更快、交付成本更低，这样才有更大赢的可能性。

三、智慧消防大数据技术发展趋势包括？

趋势一 智慧消防建设有效提高城市消防安全管理水平

智慧消防的服务对象、服务内容非常广泛，但核心主线是利用信息通信技术提升城市消防安全水平。

使用信息通信技术和其他手段改善消防现状中存在的问题、提高城市消防工作管理和服务效率以及提升城市安全等级，同时确保满足事前预防、事中处置、事后总结的一种创新型物联网解决方案。

在现有消防环境中对物理系统、数字系统和人类系统进行有效整合，从而为社会创造一个可持续、可扩展的消防数字化系统。

通过运用信息通信技术，有效整合各类城市消防系统，实现城市消防管理、政策法规、社会单位各个消防子系统间信息资源共享和业务协同，推动城市消防管理和服务智慧化，提升城市消防运行管理和公共服务水平，提高城市居民幸福感和满意度，实现可持续发展的一种创新型智能消防。

四、大数据 技术 发展趋势

大数据技术发展趋势分析

随着信息时代的到来，大数据技术在各个领域的应用日益广泛。大数据技术的发展趋势成为业界关注的焦点，对于企业和组织来说，了解大数据技术的发展方向是至关重要的。本文将就大数据技术发展趋势进行深入分析，帮助读者更好地把握大数据技术的发展方向。

大数据技术的定义

大数据技术是利用各种技术和工具来处理大规模数据的一种技术。随着互联网的发展和物联网技术的普及，数据量呈现爆炸式增长的趋势。如何高效地处理这些海量数据成为了各行各业亟待解决的问题。大数据技术的出现正是为了解决这一难题，帮助企业和组织更好地利用数据资源，实现数据驱动决策。

大数据技术发展趋势

1. 人工智能与大数据的融合

人工智能技术的迅速发展为大数据技术的应用带来了新的机遇。人工智能技术可以通过深度学习、机器学习等方法从海量数据中挖掘出有价值的信息，并实现智能化的数据分析与处理。大数据技术和人工智能技术的融合将成为未来发展的重要方向。

2. 数据安全与隐私保护

随着数据泄露事件的不断发生，数据安全和隐私保护日益受到重视。大数据技术的发展趋势之一是加强数据安全保护，采用先进的加密算法和安全技术保护数据的安全性，同时遵守相关法律法规，保护用户的隐私权。

3. 边缘计算与大数据处理

随着物联网技术的普及，大量数据在边缘设备上产生，传统的集中式数据处理模式已经无法满足实时处理的需求。边缘计算技术可以在边缘设备上对数据进行实时处理和分析，减少数据传输延迟，提高数据处理效率，边缘计算与大数据技术的结合将成为未来的发展方向。

4. 多模态数据处理

随着互联网的发展，人们产生的数据呈现多样化和多模态化的趋势，包括文本、图片、视频、音频等多种形式的数据。大数据技术需要具备多模态数据处理能力，能够有效地处理各种类型的数据，挖掘出更深层次的信息，帮助用户更好地理解数据背后的含义。

5. 数据可视化与智能分析

数据可视化和智能分析是大数据技术发展的重要方向之一。通过数据可视化技术，用户可以直观地展示数据的结构和特征，帮助用户更好地理解和分析数据。智能分析技术可以通过机器学习等方法自动识别数据中的规律和趋势，帮助用户快速做出决策。

结语

总的来说，大数据技术的发展趋势呈现多样化和复杂化的特点，需要不断跟进新技术的发展，不断提升自身的能力和水平。希望通过本文的介绍，读者能够对大数据技术的发展方向有所了解，为日后的学习和工作提供指导和帮助。

五、大数据技术 发展趋势

六、大数据产业发展趋势？

主要体现在以下几个方面：1. 数据的不断增长和技术的不断进步：随着物联网、云计算、人工智能等技术的广泛应用，大数据产业将迎来更多的发展机遇。数据的不断增长将推动大数据技术的持续创新和发展，从而为大数据产业提供更广阔的发展空间。2. 数据挖掘和分析的应用：随着数据量的不断增加，数据挖掘和分析将成为大数据产业的重要发展方向。通过数据挖掘和分析，可以为企业提供更深入的市场洞察和竞争优势分析，从而帮助企业制定更加精准的市场策略。3. 信息安全和隐私保护：随着数据的不断增长和技术的不断进步，信息安全和隐私保护将成为大数据产业的重要问题。未来，大数据产业将更加注重数据的安全性和隐私性，加强数据保护技术和措施的研究和应用。4. 跨界融合和创新发展：大数据产业将与各行各业进行跨界融合和创新发展，推动传统产业的数字化转型和升级。大数据技术将与人工智能、物联网、云计算等技术进行融合，形成更加完整的技术体系，为各行业提供更高效、更智能的服务。5. 绿色环保和可持续发展：随着全球环保意识的不断提高，大数据产业也将更加注重绿色环保和可持续发展。未来，大数据产业将更加注重节能减排、资源循环利用等方面的问题，推动产业的可持续发展。总之，大数据产业发展趋势将朝着数据量的不断增加、技术的不断进步、信息安全和隐私保护、跨界融合和创新发展以及绿色环保和可持续发展的方向发展。

七、大数据发展趋势包括？

发展趋势1：数据的资源利用什么是资源利用率？意味着大数据已经成为企业和社会的重要战略资源，成为大家关注的新焦点。因此，企业必须提前做好大数据营销战略规划，抢占市场先机。

发展趋势2：数据科学和建立数据联盟。未来，数据科学将成为一门专业化的学科，将被越来越多的人认可。大学将开设专门的数据科学专业，并将创造一些相关的新就业机会。同时，在数据基础平台的基础之上，建立跨域数据共享平台后，数据共享将扩展到企业层面，成为未来行业的核心。

八、健康数据系统发展趋势？

1、数字健康产业将在新兴市场快速发展，超越成熟市场。

在数字健康创新方面，美国、英国等成熟市场毫无疑问走在最前列。但如印度、印度尼西亚、中国等新兴市场有望在未来一段时间赶上甚至超越。原因如下：

市场空白。相比于英美等发达市场，新兴市场的既有企业和遗留基础设施较少，这意味着数字健康企业在研发新产品和建立新服务时遇到的障碍更少。同时，为了扶持新兴产业快速增长，政府也会消除部分监管约束。

拥有大量的移动互联网人群。印度、印度尼西和中国等新兴市场人口基数大，移动互联网渗透率高，这是成功推出数字健康产品和服务的重要基础。已有部分公司取得了显著成功，比如根据安永的数据，中国O2O医疗保健平台平安好医生已拥有7700万注册用户，这甚至比英国的总人口数还多。

九、新技术的发展趋势？

建设国际和区域科技创新中心成为区域竞争优势的战略重点

2021年政府工作报告提出，支持有条件的地方建设国际和区域科技创新中心。国家已经明确支持北京、上海、粤港澳大湾区形成国际科技创新中心，建设北京怀柔、上海张江、大湾区、安徽合肥综合性国家科学中心，支持有条件的地方建设区域科技创新中心。随着我国进入高质量发展阶段和创新驱动发展战略的深入实施，建设国际和区域科技创新中心成为各地打造新时代区域竞争优势的战略重点。

北京、上海、粤港澳大湾区是我国创新资源最丰富的城市（或地区），将代表国家参与全球科技创新竞争，为建设科技强国和实现中华民族伟大复兴发挥示范和引领作用。对于其他城市来说，科技创新也是其实现由“高速发展阶段”向“高质量发展阶段”过渡的关键枢纽，对区域新旧动能转换具有重要的撬动作用。可以通过增强国家自主创新示范区、国家高新区等带动作用，形成不同区域差异化的竞争新优势。

国际和区域科技创新中心建设，加速了科技创新资源的集聚和流动，科技创新体系的建设和完善，也打着凝聚人才的高地。中央和地方出台系列措施吸引各类科技创新人才汇聚。比如，重庆、成都在推进成渝地区双城经济圈建设中，布局建设西部科学城（重庆），面向全球引进100家科研机构和高等学校设立研发机构。2021年4月23日，西北工业大学重庆科创中心揭牌，预计组建300人核心研发团队，还成立了重庆两航金属材料有限公司、三航先进材料有限公司等三家公司聚集创新人才超1000人，其中院士团队11个、博士近400名。从长远来看，国际和区域科技创新中心必将成为高校毕业生干事创业的热土。

十、制造技术的发展趋势？

1.加工质量精密化：零件的加工精度直接关系到产品的性能、质量和可靠性，随着航空航天技术、微电子技术、现代军事技术的不断发展，对机械加工精度的要求不断提高。在现代超精密机械中，对精度的要求极高。

2.切削速度高速化：切削速度直接影响生产效率从而影响生产成本，同时还影响加工质量。不断进行高速和超高速加工技术的研究并应用于实际生产，取得了巨大的经济效益和社会效益。

3.工艺方法新颖化和复合化：大力发展非传统加工方法(特种加工)，形成新的加工工艺，以解决机械加工中由于工件材料、精度、刚度等特殊要求带来的传统加工方法难以解决的问题。

4.制造过程自动化、柔性化、集成化和智能化：随着现代高新技术的快速发展，尤其是机床数控技术、计算机技术、网络技术等的发展，制造过程的自动化、柔性化、集成化和智能化的进程不断加快。

5.制造理念与生产模式现代化：为了适应日趋激烈的市场竞争的新形势，随着科学技术的不断发展，人们提出了一系列新的制造理念，出现了一系列新的制造模式。