来源：c:\Users\26947\Desktop\考试\专业课速记\08_云计算大数据AI.md 用途：分类保存“原文完整迁移”基准，供完整阅读与逐字核对；以下正文保持源文件原样，不压缩、不改写。

云计算、大数据、人工智能¶

1. 云计算服务模式¶

缩写	英文全称	中文	典型例子
IaaS	Infrastructure as a Service	基础设施即服务	虚拟机、存储、网络
PaaS	Platform as a Service	平台即服务	运行环境、数据库平台
SaaS	Software as a Service	软件即服务	在线办公、企业应用

命名规律：X as a Service（X 即服务），X 就是云厂商替你管理的那一层——IaaS 管基础设施、PaaS 管平台、SaaS 直接交付成品软件。从 IaaS 到 SaaS，客户自己要管的东西越来越少。

部署模式：公有云（Public Cloud）、私有云（Private Cloud）、混合云（Hybrid Cloud）、多云（Multi-Cloud）。

2. 虚拟化与容器¶

虚拟机（VM，Virtual Machine）通过 Hypervisor（虚拟机监视器，又称 VMM，Virtual Machine Monitor）虚拟化硬件。
容器（Container）共享宿主机操作系统内核，启动速度通常更快。
容器不等于虚拟机，隔离级别和资源抽象方式不同。
Kubernetes（简称 K8s）主要用于容器编排。

3. 大数据¶

5V：

Volume：规模大
Velocity：速度快
Variety：类型多
Veracity：真实性
Value：价值

分布式文件系统重点：数据分片、多副本、容错、横向扩展、数据本地性。

批处理分布式计算（MapReduce、Spark）¶

定位：大数据技术体系的核心——单机存不下、算不动，就拆给多台机器并行处理，思想是分而治之。

Hadoop 生态三件套：

组件	英文全称	角色
HDFS	Hadoop Distributed File System	分布式文件系统（存储层）
MapReduce	—	分布式批处理计算框架（计算层）
YARN	Yet Another Resource Negotiator	集群资源调度（调度层）

MapReduce 两个阶段（高频考点）：

Map（映射）：把大任务拆成小任务，分给多个节点并行处理。
Reduce（归约）：汇总各节点的中间结果，得到最终答案。

速记：Map 分、Reduce 合。

Spark：基于内存的分布式计算引擎。

中间结果放内存不落磁盘；MapReduce 每步中间结果写磁盘，所以 Spark 快得多。
核心数据抽象：RDD（Resilient Distributed Dataset，弹性分布式数据集）。
适合迭代计算（机器学习训练一遍遍跑）和交互式查询。
常见组件：Spark SQL、Spark Streaming、MLlib（机器学习库）、GraphX。

	MapReduce	Spark
中间结果	写磁盘	放内存
速度	慢	快（内存计算）
适合场景	简单离线批处理	迭代计算、机器学习

批处理 vs 流处理（场景判断题最爱）：

	批处理（Batch）	流处理（Stream）
数据方式	攒一批一起算	到一条算一条
延迟	高（分钟～小时）	低（毫秒～秒）
典型技术	MapReduce、Spark	Spark Streaming、Flink
银行场景	日终跑批：利息计提、信用卡账单、对账、监管报表	实时风控、实时反欺诈

银行场景：银行每天营业结束后夜间"跑批"——计息、对账、出报表，就是典型的批处理分布式计算；而转账发生瞬间的反欺诈判断，等不了批处理，必须流处理。

数据挖掘（Data Mining）¶

定义：从海量数据中发现隐含的、有价值的模式和规律的过程，是实现大数据 5V 中 Value（价值） 的核心技术。完整过程又称 KDD（Knowledge Discovery in Databases，数据库知识发现）。

数据挖掘具体在做什么（白话版）：把散落在各系统里的原始事实（谁、何时、做了什么交易），加工成可用的知识（哪类客户容易违约、给谁推荐什么产品），再用知识驱动业务决策（是否放贷、如何营销）。类比淘金：原始数据是沙子，预处理是筛沙，挖掘算法是淘洗，评估是验金，最终把金子做成首饰卖出去（应用到业务产生价值）。

一般过程（KDD 流程图）：

flowchart TD
    A[① 定义业务问题<br/>预测违约？客户分群？] --> B[② 数据收集<br/>核心系统/渠道/征信取数]
    B --> C[③ 数据预处理<br/>清洗-集成-变换-归约]
    C --> D[④ 建模挖掘<br/>分类/聚类/关联规则算法]
    D --> E[⑤ 模式评估<br/>准确性 + 业务价值]
    E -->|不通过| C
    E -->|通过| F[⑥ 呈现部署<br/>评分卡/报表/嵌入生产系统]

文字版：定义问题 → 数据收集 → 数据预处理 → 建模挖掘 → 模式评估 → 呈现部署（评估不过关就回到前面迭代）。

分步解释（以"预测客户违约"为例）：

步骤	在做什么	银行例子
1. 定义业务问题	明确挖什么、答案长什么样	"预测客户未来一年是否违约"
2. 数据收集	从多个系统取原始数据	核心系统交易流水 + 征信数据
3. 数据预处理	清洗缺失/重复/噪声，多源整合，标准化	手机号缺失补齐；不同系统客户号对齐；工资分高/中/低档
4. 建模挖掘	选算法训练模型	用逻辑回归训练违约预测模型
5. 模式评估	验证准确性 + 判断业务价值	测试集验证准确率，剔除"没有业务意义的规律"
6. 呈现部署	转成可用形式，嵌入业务流程	输出评分卡嵌入信贷审批系统

两个考试细节：

数据预处理最耗时，实践中约占 60%～80% 的工作量（行话："数据挖掘就是 80% 的时间在洗数据"）。
数据挖掘不是一步到位，而是"建模—评估"反复迭代的过程。

五大任务（先判断任务类型，再选算法）：

五大任务就是上面流程图第 ④ 步"建模挖掘"阶段里做的事：KDD 流程回答"按什么顺序做"，五大任务回答"这一步具体挖出什么样的规律"。第 1 步定义业务问题时先选定任务类型，第 4 步再选具体算法实现它。

三层结构：业务问题 → 任务类型 → 具体算法。

业务问题任务类型具体算法

预测客户违约分类逻辑回归、决策树、随机森林

预测授信额度回归线性回归

客户分群营销聚类 K-Means

搭配销售推荐关联规则 Apriori

反欺诈、反洗钱异常检测离群点检测

一句话：任务决定挖什么规律，算法决定用什么工具挖。前两步（收集、预处理）为这一步备好干净原料，后两步（评估、部署）检验并使用挖出来的规律。

易错点：逻辑回归名字带"回归"，干的是分类的活——它输出 0～1 的概率，再按阈值贴"违约 / 不违约"标签，所以属于分类算法。

任务	监督？	输出	银行场景
分类 Classification	有监督	离散类别	信用评分：违约 / 不违约
回归 Regression	有监督	连续数值	预测收益、授信额度
聚类 Clustering	无监督	自动分组	客户分群营销
关联规则 Association	—	"有 A 则有 B" 规律	交叉销售
异常检测 Anomaly Detection	无监督为主	异常记录	反欺诈、反洗钱

分类经典算法：

决策树（Decision Tree）：一问一答层层分支。代表：ID3（信息增益）、C4.5（信息增益率）、CART（基尼系数）。优点：可解释性强。
KNN（K 近邻，K-Nearest Neighbors）：新样本看最近的 K 个邻居属于哪类就判哪类。懒惰学习、无需训练，但预测时要算大量距离。
朴素贝叶斯（Naive Bayes）：假设特征条件独立，用先验概率做推断。垃圾邮件分类的经典方法。
逻辑回归（Logistic Regression）：输出 0～1 之间的概率，银行评分卡的标配——输出违约概率。
SVM（支持向量机，Support Vector Machine）：寻找最大间隔的分类边界，核技巧处理非线性问题。
神经网络（Neural Network）：深度学习的基础，拟合复杂非线性能力强，但属于黑箱。

聚类经典算法：

K-Means：随机选 K 个中心 → 每个点归入最近中心 → 重算中心 → 迭代至稳定。特点：需预设 K，对初值敏感。

关联规则经典算法：

Apriori：先挖频繁项集，再生成规则。两个核心度量：
支持度（Support）：项集同时出现的频率——衡量规律多常见。
置信度（Confidence）：有 A 的人里多少也有 B——衡量规律多可靠。
例子：发现"办工资卡的客户 60% 会开手机银行" → 联合营销话术。

高频辨析（选择题套路）：

分类 vs 聚类：有标签 vs 无标签（有监督 vs 无监督）——最常考。
分类 vs 回归：预测离散类别 vs 预测连续数值。
Bagging vs Boosting：随机森林（Bagging）多树并行投票，各自独立；Boosting（如 XGBoost）串行训练，后一棵树专攻前面树的错题。

银行应用速记：分类=信用评分，回归=收益/额度预测，聚类=客户分群，关联规则=交叉销售，异常检测=反欺诈、反洗钱。

4. 机器学习¶

监督学习：有标签数据，如分类、回归。
无监督学习：无标签数据，如聚类、降维。
强化学习：通过奖励和惩罚学习策略。
过拟合：训练集表现好，测试集表现差。
欠拟合：训练集和测试集表现都差。
常见解决方法：正则化、交叉验证、增加数据、降低模型复杂度、早停。

随机森林（Random Forest）¶

定位：集成学习（Ensemble Learning）中 Bagging 流派的代表方法，基学习器是决策树，属于监督学习。

核心思想：训练多棵决策树组成"森林"，各自预测后汇总——分类问题投票（少数服从多数），回归问题取平均。

两个"随机"（高频考点）：

样本随机：每棵树用 Bootstrap 有放回抽样的样本训练。
特征随机：每次节点分裂时，只从随机抽取的特征子集中选最优分裂特征。

正是这两层随机性让每棵树"各有侧重"，汇总后互相抵消误差、降低方差。

对比单棵决策树：

	单棵决策树	随机森林
过拟合风险	高（可切分到很细）	低（多树平均降低方差）
可解释性	好（一棵树可画出）	差（森林是黑箱）
训练方式	单棵	每棵树可并行训练
特征重要性	无	可输出

银行应用：信用评分/违约预测（输出违约概率）、交易反欺诈（正常/异常分类）。风控场景尤其看重"特征重要性"——能回答"哪些因素对违约影响最大"。

速记：随机森林 = Bagging + 决策树；两个随机（样本随机、特征随机）；分类投票、回归平均。

🟡 本分册解释为通用计算机知识补充，可能与你老师讲的不完全一致；专业范围以《考试大纲》"金融监管计算机类"部分为准。

业务问题	任务类型	具体算法
预测客户违约	分类	逻辑回归、决策树、随机森林
预测授信额度	回归	线性回归
客户分群营销	聚类	K-Means
搭配销售推荐	关联规则	Apriori
反欺诈、反洗钱	异常检测	离群点检测