补充技术知识

目录

一、大数据 一、概念

大数据是指在一定时间内无法通过常规软件工具获取、管理和处理的数据集合。 、高增长率和多样化的信息资产。

2.特点

Volume（卷）：指数据量巨大，从TB级跃升到PB级（1PB=1024TB）、EB级（1EB=1024PB），甚至达到ZB级（IZB=1024EB）。 (B—>KB—>MB—>GB—>TB—>PB—>EB—>ZB)

多样性：指数据类型的多样性。 这种类型的多样性还允许将数据分为结构化数据和非结构化数据。

价值：指低价值密度。 价值密度的高低与数据总量的大小成反比。

Velocity（速度）：指加工速度。 这是大数据区别于传统数据挖掘的最显着特征。

真实性（authenticity）：指来自各种不同信息系统网络和网络终端的数据的行为或痕迹。 （数据源）

3.建筑

4.申请

5. 重点链接

大数据涉及的技术很多，主要包括数据采集、数据存储、数据管理、数据分析和挖掘等。

(1)HDFS：分布式文件系统，大数据存储技术，可以提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 在最流行的开源大数据Hadoop中，Hadoop分布式文件系统HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。 根据文件的需要开发，它可以运行在廉价的商业服务器上。

(2) HBase：分布式的面向列的开源数据库，大数据存储技术不同于一般的关系型数据库，它是一种用于非结构化数据存储的数据库。

（3）MapReduce：大数据管理技术，一种编程模型，主要思想：“Map（映射）”和“Reduce（缩减）”的概念。 大数据管理主要采用分布式并行处理技术。 在 MapReduce 的帮助下，程序员可以在分布式系统上运行他们的程序，而无需分布式并行编程。

(4)Chukwa：用于监控大型分布式系统的数据采集系统。 继承了Hadoop的可扩展性和健壮性。

(5) Flume是Cloudera提供的高可用、高可靠、分布式的海量日志采集、聚合、传输系统。 Flume支持在日志系统中自定义各种数据发送器进行数据采集； 同时，Flume提供了简单处理数据并写入各种数据接收方的能力（可定制）。

(6) Kafka是一个高吞吐量的分布式发布订阅消息系统

(7) Producer：负责向Kafka broker发布消息

(8)Consumer：消息消费者，读取消息给Kafka broker的客户端。

(9) Apache Spark 是一种快速的通用计算引擎，专为大规模数据处理而设计。 Spark是由UC Berkeley AMP实验室（加州大学伯克利分校AMP实验室）开源的一个类Hadoop MapReduce的通用并行框架。 Spark具有Hadoop MapReduce的优点； 但它不同于MapReduce——Job的中间输出可以存储在内存中，这样就不需要读写HDFS，因此Spark可以更好地适用于数据挖掘和机器学习等需要迭代的MapReduce算法。

(10) Spark 是一个类似于 Hadoop 的开源集群计算环境，但两者之间存在一些有用的差异，这使得 Spark 在某些工作负载上更胜一筹，换句话说，Spark 启用了内存中的分布式数据集，可以优化迭代工作负载除了能够提供交互式查询。

(11) Spark是用Scala语言实现的，它使用Scala作为它的应用框架。 与 Hadoop 不同，Spark 和 Scala 紧密集成，Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但它实际上是对 Hadoop 的补充，可以在 Hadoop 文件系统上并行运行。 此行为通过名为 Mesos 的第三方集群框架得到支持。 Spark 由加州大学伯克利分校的 AMP 实验室（Algorithms, Machines, and People Lab）开发，可用于构建大规模、低延迟的数据分析应用程序。

典型案例一

【答案】C

【分析】生产者和消费者无法直接通信，需要借助kafka平台

典型案例二

【答案】A

【解析】看大数据技术课件的内容。

二、云计算 1、云计算的特点

其中，按需服务是指“云”是用户按需购买的巨大资源池；

云可以像自来水、电和煤气一样收费。 通过网络提供动态可扩展且廉价的计算能力，通常具有以下特点：

2、云计算模式

云计算的三种服务类型。

(1) Infrastructure as a Service (IaaS)---提供给消费者的服务是对所有设施的利用，包括处理、存储、网络和其他基础计算资源，用户可以部署和运行任意软件，包括操作系统和应用程序。 消费者不管理或控制任何云计算基础设施，但可以控制操作系统、存储空间、部署的应用程序的选择，还可以控制有限的网络组件（例如，防火墙、负载平衡器等）。 为用户提供计算机能力和存储空间等基础设施服务。 （自己做）

(2)平台即服务(PaaS)---平台通常包括操作系统、编程语言运行环境、数据库和Web服务器。 用户在此平台上部署和运行自己的应用程序。 用户无法管理和控制底层基础设施，只能控制自己部署的应用。 为用户提供虚拟操作系统、数据库管理系统、Web应用等平台化服务。 （自助服务）

（3）软件即服务（SaaS）----为用户提供应用软件（如CRM、办公软件等）、组件、工作流等虚拟化软件服务。 用户提供多租户和可定制的应用能力，大大缩短了软件产业的渠道链，降低了软件升级、定制、运维的复杂度，使软件提供商从软件产品的生产者向应用的运营商转变服务由。 （直接拍成品）

3. 云计算核心与关键技术

云计算的关键技术包括网格计算和虚拟化。

①网格计算是提高计算能力的一种方式。 其原理是基于并行计算理论，通过任务分解，将子任务分发并提交给其他服务器运行，从而获得更强大的计算能力。 网格计算的基础技术是Web Services。 云计算的平台技术主要依赖于SOA

②虚拟化是基础设施的虚拟化，其核心是传统成熟的集群计算和分区计算的结合。包括基础设施虚拟化、网络虚拟化（VPN）和存储虚拟化（SAN/NAS）等技术

4、云计算应用

③云计算的应用——公有云、私有云、混合云

典型案例

【答案】C

[分析] 云计算模型。

三、物联网 1、概念

（一）物联网概念

物联网是指通过信息传感设备，将任何物品按照约定的协议连接到互联网上，进行信息交换和通信，从而实现智能化识别、定位、跟踪、监控和管理的网络。

（二）物联网的含义

物联网是互联事物的互联网。 这有两层意思：

第一，物联网的核心和基础仍然是互联网，是在互联网基础上延伸和扩展的网络；

第二，它的客户端延伸和扩展到任何物品和物品进行信息交换和沟通，即对象和对象之间的关系。

2. 两大关键技术

3.物联网架构

物联网从架构上可以分为感知层、网络层和应用层。

(1) 感知层

负责对象之间的信息收集和信息传递，

① 信息采集技术包括传感器、条形码和二维码、RFID射频技术、音视频等多媒体信息，

②信息传输包括远距离数据传输技术、自组织组网技术、协同信息处理技术、信息采集中间件技术等传感器网络。

感知层是实现物联网全面感知的核心能力。 它是物联网中需要在关键技术、标准化、产业化等方面取得突破的一环。 成本和费用的问题。

③ RFID与条码的区别

↓射频识别（RFID）技术，又称射频识别，是一种无需在识别系统与特定目标之间建立机械联系，即可通过无线电信号识别特定目标并读写相关数据的通信技术。 或光学触点。

↓ RFID具有远距离读取、高存储容量、高成本、可同时读取、难以复制、可工作在各种恶劣环境等特点； 条码具有容量小、成本低、易于复制、结构简单、灵活实用等特点

(2) 网络层

它使用无线和有线网络对收集到的数据进行编码、验证和传输。 广泛覆盖的移动通信网络是实现物联网的基础设施。 它是物联网三层中最规范、最产业化、最成熟的。 部分，关键是要优化和完善物联网的应用特性，形成协同感知网络。

网络层可以包括：互联网； 有线和无线通信网络； 各种专用网络； 网络管理系统和云计算平台等。

(3) 应用层

提供基于物联网的丰富应用是物联网发展的根本目标。 将物联网技术与行业信息化需求相结合，实现广泛的智能化应用解决方案，关键在于行业融合、信息资源开发利用、低成本高质量解决方案、信息安全保障、开发有效的商业模式。

每一层级使用的通用技术包括编码技术、识别技术、分析技术、安全技术和中间件技术。

四、移动互联网 1、概念

(1)移动互联网泛指用户使用手机等无线终端通过3G、4G或WLAN等高速移动网络接入互联网，可以在移动状态下(如地铁、公交车上)使用互联网， ETC。）。 互联网资源。从技术层面定义：以宽带IP为技术核心，可同时提供语音、数据、多媒体等服务的开放式基础电信网络

(2)移动互联网=移动通信网络+互联网内容和应用，它既是互联网的延伸，也是互联网的发展方向。 它的核心是互联网。 一般认为，移动互联网是桌面互联网的补充和延伸，应用和内容是移动互联网的基础。

2.特点

（1）移动互联网不仅具有传统互联网应用的简单复制和移植，还具有以下新特点：接入移动性、时间碎片化、生活关联性、终端多样性

（2）移动互联网技术体系涵盖六大技术产业领域：关键应用服务平台、网络平台技术、移动智能终端软件平台技术、移动智能终端软件平台技术、移动智能终端硬件平台技术、移动智能终端原材料组件技术和安全控制技术。

三、关键技术

Web1.0和Web2.0的区别

典型案例

【答案】A

【解析】HTML5概念

五、人工智能AI技术 一、特点

定义

人工智能是赋予机器和人类在更深维度思考的能力

人工智能是一种自动处理人类思维、决策、问题解决和学习的高效技术

人工智能是一种研究智能行为的计算模型

人工智能是一种计算，可以增加理解、推理和未知行为的可能性

人工智能是计算机程序智能地执行人类或动物行为的任务

2. AI开发规则

《新一代人工智能发展规划》原文。

战略目标分为三个步骤：

第一步，到2020年人工智能总体技术和应用与世界先进水平同步，人工智能产业成为新的重要经济增长点，人工智能技术应用成为提高人们生活水平的新途径民生，将有力支撑进入创新型国家行列，实现全面建成小康社会目标。

二是到2025年，人工智能基础理论实现重大突破，部分技术和应用达到世界领先水平。 人工智能将成为我国产业升级和经济转型的主要动力，智能社会建设取得积极进展。

第三步，到2030年，人工智能理论、技术和应用总体达到世界领先水平，成为世界主要的人工智能创新中心，智能经济和智能社会取得显著成果，奠定重要基础成为顶尖的创新国家和经济强国之一。

三、人工智能的主要成就

(1) 语音识别技术：将人类语音中的词汇内容转化为计算机可读输入

(2) 计算机视觉：从图像中识别物体、场景和活动的能力

(3) 机器学习：研究计算机如何模拟或实现人类的学习行为以获得新知识或技能

(4) 机器人：改造机器与人协同工作，在不同的环境下完成不同的任务

(5) 自然语言处理：计算机处理、理解和使用人类语言

(6) 人工智能包括自我识别和自我学习能力。

(7) 最流行的电脑游戏是具有自学习能力的AlphaGo。 自动驾驶还需要自我识别和自我学习。 人脸识别是一种基于人脸特征信息进行身份识别的生物识别技术。

（8）自动化工程：自动驾驶、印钞厂、猎鹰绘图。

(9) 知识工程：以知识本身为处理对象，研究如何利用人工智能和软件技术，设计、构建和维护知识系统，包括：专家系统、智能搜索引擎、计算机视觉和图像处理、机器翻译和自然语言理解、数据挖掘和知识发现。

4. 人工智能应用 6. 区块链技术 1. 概念

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的一种新型应用模式。

所谓共识机制是区块链系统中各方建立信任、获取权益的数学算法。

特点：公开、共识、去中心化、去信任机制、透明交易、匿名方、不可篡改、可追溯

2.技术应用 3.核心技术

(1) 分布式账本/去中心化

● 区块链是分布式账本。 一个特殊的分布式数据库链表中有多个存储节点，类似于网络图。 没有中心节点。 篡改里面的数据，除非51%的节点被篡改，否则篡改单个节点是无效的。

(2)哈希加密/防篡改

区块链采用区块+链式存储结构。 每个区块的生成都包含了前一个区块的HASH信息，因此是连贯的。 每条链记录本区块的HASH和前一个区块的HASH和交易。 这样就相互连贯了。

(3) 非对称加密/数字签名

每笔交易都带有数字签名，确保交易的真实性

(4) 共识算法（博弈论）/全国记账

一般有POW（工作量证明）、Pos（权益证明）等，比特币采用POW（工作量证明）竞争记账权，竞争记账权=记账节点哈希值的前13个字符通过挖矿计算如果为0，则符合规则，得到

簿记权； 如果一个节点计算出结果，它会广播消息通知其他节点，其他节点更新数据。

4. 区块链的特点 VII. 互联网+ 1.概念

“互联网+”即“互联网+各类传统产业”，但这并不是两者的简单相加，而是利用信息通信技术和互联网平台，将互联网与传统产业深度融合，打造发展新生态.

它代表了一种新的社会形态，就是要充分发挥互联网在社会资源配置中的优化整合作用，将互联网的创新成果深度融入经济社会各个领域，提升创新生产力。全社会，并形成以互联网为基础设施和工具的更广泛的经济发展新形态。

2.特点

（一）“互联网+”是一种新的经济形态，是指依托互联网信息技术，实现互联网与传统产业的结合，优化生产要素、更新商业系统、重构商业模式，完成经济发展. 转型升级。

“互联网+”计划的目的是充分发挥互联网的优势，将互联网与传统产业深度融合，通过产业升级提高经济生产力，最终实现社会财富的增加。例如，滴滴打车、美团外卖、共享单车等。

（2）互联网+有六大特点：一是跨界融合比特币主要应用领域，二是创新驱动，三是重塑结构，四是尊重人性，五是开放生态，六是连接万物。

三、发​​展趋势

（1）2015年3月，首次提出“互联网+”概念，提出推动移动互联网、云计算、大数据、物联网等与现代制造业融合发展，以及促进电子商务、工业互联网和互联网金融健康发展。 “互联网+”已成为两化融合的升级版。

（二）制造业服务化是“互联网+制造”的重要方向。 制造业服务化是指制造企业为获得竞争优势，将价值链从以制造为中心向以服务为中心转变。

制造业的服务化有两个层次：

（三）《关于深化“互联网+先进制造业”发展工业互联网的指导意见》原文。

顺应世界“互联网+”发展趋势，发挥我国互联网规模和应用优势，推动互联网从消费领域向生产领域拓展，加快提升产业发展水平，提升提升各产业创新能力，构筑经济社会发展新优势、新机遇。 动能。

4、两化融合

两化融合就是工业化和信息化的融合：

典型案例一

【答案】B

【解析】互联网+有六大特点：一是跨界融合，二是创新驱动，三是重塑结构，四是尊重人性，五是开放生态，六是连接万物。

典型案例二

【答案】C

8. 智慧中国与智慧城市

“智慧中国”是充分利用我国虚拟化、云计算、物联网、SOA架构等基础技术，结合各种业务系统，涉及智能楼宇、智能家居、路网监控、食品药品管理等、智慧医院、城市生命线管理、票务管理、居家养老、个人健康和数字生活等诸多领域，按照数字化、网络化、智能化建设城市发展的智慧环境，构建新型、绿色、智能和可持续的城市形态。 从而最终形成一个“智能”中国。

智慧城市

一、概念

智慧城市是利用新一代信息技术感知、监测、分析、整合城市资源，快速、灵活、准确响应各种需求，为公众营造绿色和谐环境，提供无处不在的城市。 、便捷、高效的服务。 形式。 智慧城市建设主要包括以下几个部分：

2. 五层参考模型和三大支撑体系

五层智慧城市建设参考模型

智慧城市建设参考模型包括五个依赖层级和三个建设约束支撑体系。

五层如下：

三大支撑体系

典型案例一

示例：智慧城市建设参考模型（） 利用SOA（面向服务架构）、云计算、大数据等技术，在智慧应用层承载相关应用，为应用所需的各种服务提供共享资源。

【答案】D

典型案例二

例：智能制造是制造技术发展的必然趋势。 从理论上讲，（ ）是智能制造的核心。

【答案】B（常识题）

9.数据仓库

一、数据仓库的特点二、数据挖掘的分类

数据挖掘：从海量数据中提取或挖掘知识的过程，分类、聚类、关联规则和异常值分析是数据挖掘的重要功能。

K-means和DBSCAN的区别：

都是聚类方法

两种聚类的结果都与输入参数有关，当分布密度变化较大时，两者都不适用。

三、数据挖掘方法十． 商业智能与虚拟化 1. 概述 2. 应用

OLAP 也称为多维分析。 OLAP的实现方法有很多种，根据存储数据的方式不同可分为ROLAP、MOLAP和HOLAP。

3.主舞台

↓ 商业智能系统主要用于决策分析，其主要处理过程包括四个主要阶段：

数据预处理：通过数据的抽取、转换和加载，实现企业原始数据的初步整合。数据仓库的建立是后续数据处理的基础。 数据分析是体现系统智能化的关键。 主要采用在线分析处理和数据挖掘技术。 数据展示主要完成数据处理结果的可视化。 四、主要实施步骤

实施商业智能的步骤：

典型案例

【答案】B

[分析] OLAP是多维数据分析。

5.虚拟化

典型案例

【答案】A

【分析】虚拟专用网是指在公共网络上建立专用网络的技术。 由于VPN网络节点之间没有传统专用网络所需要的端到端的物理链路，而是在公共网络上建立临时的、安全的连接，因此被称为“虚拟”专用网络。

虚拟VPN可以在保障数据安全传输的前提下，以低成本在公网上快速建立安全连接。 VPN技术使用户无论在公司还是在家里，只要能上网，就可以方便、安全地访问内网资源。

十一、第五代移动通信技术（5G） 一、概述

第五代移动通信技术，简称5G或5G技术，是最新一代蜂窝移动通信技术，也是4G（LTE-A、WiMax）、3G（UMTS、LTE）和2G的延伸(GSM) 系统。

5G 的性能目标是高数据速率、减少延迟、节能、降低成本、增加系统容量和大规模设备连接。

5G 网络的主要优势是数据传输速率远高于以前的蜂窝网络，可达 10Gbit/s，比目前的有线互联网更快，比以前的 4G LTE 蜂窝网络快 100 倍。 另一个优势是网络延迟更低（响应时间更快），低于 1 毫秒，而 4G 为 30-70 毫秒。

二、5G的特点 三、5G的关键技术

↓ 超密集异构网络：在未来5G网络中，缩小小区半径，增加低功耗节点数量，是保证未来5G网络支持1000倍流量增长的核心技术之一。 因此，超密集异构网络成为未来5G网络提升数据流量的关键技术。

↓ 自组织网络技术：需要解决的关键问题主要有以下两点：

↓ 内容分发网络：是在传统网络上增加一个新的层次，即智能虚拟网络。 它将对未来5G网络的容量和用户接入起到重要的支撑作用。

↓ 设备到设备通信（D2D）：是一种基于蜂窝系统的短距离数据直接传输技术。 它具有提高系统性能、增强用户体验、减轻基站压力和提高频谱利用率的潜力。 因此，D2D是未来5G网络的关键技术之一。

↓ M2M通信：主要指机器与机器、人与机器、移动网络与机器之间的通信。 它涵盖了实现人、机器和系统之间通信的所有技术。 作为物联网最普遍的应用形式比特币主要应用领域，在智能电网、安防监控、城市信息化、环境监测等领域已经实现了商业应用。

↓ 信息中心网络（ICN）：指包括实时媒体流、网络服务、多媒体通信等信息，信息中心网络是这些信息碎片的总和。 因此，ICN的主要概念是信息的分发、搜索和传递，而不是维持目标主机的连通性。

4. 5G应用领域

5G的主要应用领域是

典型案例

【答案】B

【分析】5G的特点是高速率、低时延。 理论速度可达10Gbps，用户体验速度为1Gbps。 最长传输距离可达2公里。