机器学习有关算法内容，请参见公众号“科技优化生活”之前相关文章。人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下ICA算法。 ^_^ 

ICA从出现到现在虽然时间不长，然而无论从理论上还是应用上，它正受到越来越多的关注，成为国内外研究的一个热点。

ICA独立成分分析是一种用来从多变量（多维）统计数据里找到隐含的因素或成分的方法，被认为是PCA主成分分析(请参见人工智能（46）)和FA因子分析的一种扩展。对于盲源分离问题，ICA是指在只知道混合信号，而不知道源信号、噪声以及混合机制的情况下，分离或近似地分离出源信号的一种分析过程。 

ICA（IndependentComponent Analysis） 独立成分分析是一门统计技术，用于发现存在于随机变量下的隐性因素。ICA为给观测数据定义了一个生成模型。在这个模型中，其认为数据变量是由隐性变量，经一个混合系统线性混合而成，这个混合系统未知。并且假设潜在因素属于非高斯分布、并且相互独立，称之为可观测数据的独立成分。

ICA与PCA相关，但它在发现潜在因素方面效果良好。它可以应用在数字图像、档文数据库、经济指标、心里测量等。

ICA是找出构成信号的相互独立部分(不需要正交)，对应高阶统计量分析。ICA理论认为用来观测的混合数据阵X是由独立元S经过A线性加权获得。ICA理论的目标就是通过X求得一个分离矩阵W，使得W作用在X上所获得的信号Y是独立源S的最优逼近，该关系可以通过下式表示：

ICA相比与PCA更能刻画变量的随机统计特性，且能抑制高斯噪声。

从线性代数的角度去理解，PCA和ICA都是要找到一组基，这组基张成一个特征空间，数据的处理就都需要映射到新空间中去。

样本数据 x 经过参数矩阵 W 线性变换后的结果的L1范数，实际上也就是描述样本数据的特征。

这就是标准正交ICA的目标函数。与深度学习中的通常情况一样，这个问题没有简单的解析解，因此需要使用梯度下降来求解，而由于标准正交性约束，又需要每次梯度下降迭代之后，将新的基映射回正交基空间中，以此保证正交性约束。 

针对ICA的目标函数和约束条件，可以使用梯度下降法，并在梯度下降的每一步中增加投影（projection ）步骤，以满足标准正交约束。过程如下：  

已知信号为S，经混和矩阵变换后的信号为：X=AS。对交叠信号X，求解混矩阵B，使Y=WX各分量尽量相互独立。求解W的过程并不一定是近似A的逆矩阵，Y也不是信号S的近似，而是为了使Y分量之间相互独立。目的是从仅有的观测数据X出发寻找一个解混合矩阵。

常见的方法：InfoMax方法（用神经网络使信息最大化），FastICA方法（固定点算法，寻求X分量在W上投影（W^t）*X）的非高斯最大化。

乘球化矩阵S，使Z=SX各行正交归一，即ZZ’=I

2、核心算法部分： 寻求解混矩阵U，使Y=UZ，Y各道数据尽可能独立（独立判据函数G）。
1)、由于Y独立，各行必正交。且通常取U保持Y各行方差为1，故U是正交变换。
2)、所有算法预处理部分相同，以后都设输入的为球化数据z，寻找正交矩阵U，使Y=Uz独立。

由于独立判据函数G的不同，以及步骤不同，有不同的独立分量分析法。

思路：属于探查性投影追踪

目的：输入球化数据z，经过正交阵U处理，输出Y=Uz
1）输入球化数据z，经过正交阵某一行向量ui处理（投影），提取出某一独立分量yi。

2）将此分量除去，按次序依次提取下去，得到所有的yi ，以及ui。

3）得到独立的基向量U

2）并行和分布计算，要求内存小，易于使用。

3）能通过使用一个非线性函数g便能直接找出任何非高斯分布的独立分量。

4）能够通过选择一个适当的非线性函数g而使其达到最佳化。特别是能得到最小方差的算法。

5）仅需要估计几个（不是全部）独立分量，能极大地减小计算量。

1) 特征矩阵W的特征数量（即基向量数量）大于原始数据维度会产生优化方面的困难，并导致训练时间过长；

2) ICA模型的目标函数是一个L1范数，在 0 点处不可微，影响了梯度方法的应用。

注：尽管可以通过其他非梯度下降方法避开缺点2），也可以通过使用近似值“平滑” L1 范数的方法来解决，即使用 ( x2+ε )1/2 代替 |x|，对 L1 范数进行平滑，其中 ε 是“平滑参数”（smoothing

1） PCA是将原始数据降维并提取出不相关的属性，而ICA是将原始数据降维并提取出相互独立的属性。

2） PCA目的是找到这样一组分量表示，使得重构误差最小，即最能代表原事物的特征。ICA的目的是找到这样一组分量表示，使得每个分量最大化独立，能够发现一些隐藏因素。由此可见，ICA的条件比PCA更强些。

3） ICA要求找到最大独立的方向，各个成分是独立的；PCA要求找到最大方差的方向，各个成分是正交的。

4） ICA认为观测信号是若干个统计独立的分量的线性组合，ICA要做的是一个解混过程。而PCA是一个信息提取的过程，将原始数据降维，现已成为ICA将数据标准化的预处理步骤。

从应用角度看，ICA应用领域与应用前景都是非常广阔的，目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。 

ICA是一种常用的数据分析方法，是盲信号分析领域的一个强有力方法，也是求非高斯分布数据隐含因子的方法。从样本-特征角度看，使用ICA的前提条件是，认为样本数据由独立非高斯分布的隐含因子产生，隐含因子个数等于特征数，要求的是隐含因子。ICA算法已经被广泛应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等领域。

工欲善其事，必先利其器。很多小伙伴都想学人工智能，那么你只需要参考这套学习路线，静下心来一步一步学习，相信你很快就能开启AI人工智能的大门了！

话不多说，开始敲重点：

预科阶段：快速实战入门

2) 人工智能流程与本质

3) 人工智能流程对比人类思考过程

4) 机器学习与深度学习本质区别

5) 回归与分类任务本质

6) 聚类与降维任务本质

第一阶段：python 基础与科学计算模块

第八阶段：海量数据挖掘工具

1) 分布式存储和计算概念

7) 代码实战蒙特卡洛计算圆周率 Pi

第九阶段：概率图模型算法

3) 代码实战垃圾邮件分类

2) 初始概率、转移概率、发射概率

3) 隐含马尔可夫模型原理

1) 熵、条件熵、相对熵、互信息

2) 最大熵模型算法原理

3) 有约束条件的函数最优化问题

4) 最大熵和最大似然估计关系

2) 条件随机场的判别函数

1) 从生物神经元到人工神经元

3) 透过神经网络拓扑理解逻辑回归分类

5) 透过神经网络隐藏层理解升维降维

6) 剖析隐藏层激活函数必须是非线性的原因

8) 水泥强度预测案例及绘制神经网络拓扑

4) 不同激活函数在反向传播应用

5) 不同损失函数在反向传播应用

第十一阶段：图像识别原理到进阶实战

1) 梯度消失与梯度爆炸

8) 皮肤癌医疗图像检测项目

8) 深度学习用户画像项目

5) 电影评论情感分析案例

各省市电网，需要建立一套完善的电缆线部件缺陷检测的平台，为各省市的电缆线部件    缺陷提供智能化的解决方案，进一步确保电网系统的安全运行。现在有些省市的电网缺陷部    件的检测仍采用人工查缺的方式，智能化的缺陷检测平台可以提高电缆线部件缺陷检测的准    确率，节省成本。

对目标检测算法有一个很好的了解，重点掌握 cascade R-CNN 算法能够对 mmdetection 工具有一个很好的了解

对数据打标签、数据集制作、算法模型训练有一个很好的掌握  对 mmdetection 代码有一定了解，学会如何改进和优化算法

在机器视觉应用中，外观检测一直是行业痛点。外观缺陷中的划痕、脏污、形态不一、    大小不同、深浅和各种姿态都不同，很难用传统的视觉检测算法稳定检测。但是随着深度学习技术的发展，采用深度学习模式的外观检测程式，成为了外观检测的新方法。

对目标检测算法有一个很好的了解，重点掌握 Faster R-CNN 算法对数据打标签、数据集制作、算法模型训练有一个很好的掌握

施工工地对安全帽佩戴的检测和监管力度越来越大了，从智能安全帽的应用到安全帽检    测系统的智能管理，现在的安全帽检测升级版对于安全帽佩戴标准也有了新的分析算法，对    未正确佩戴、悬挂等都能准确检测识别。对工作服颜色接近安全帽颜色的检测能力有了更高    的提升，比传统的安全帽识别系统精度更高。

对目标检测算法有一个很好的了解，重点掌握 Yolo V3 算法对数据打标签、数据集制作、算法模型训练有一个很好的掌握  对 Yolo V3 代码有深刻认知，学会如何改进和优化算法

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄    像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸    进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

通过一个完整的人脸识别项目，掌握人脸识别系统的开发流程和关键技术。

从 0 到 1，全面剖析完整项目整个建设生命周期：需求分析、架构设计、环境部署、程序设计、模型训练。

掌握人脸识别一般过程，人脸检测、人脸对齐、人脸识别 掌握人脸检测的集成学习方法

掌握人脸检测的 CNN 方法

掌握人脸检测+关键点定位的多任务网络 MTCNN

OCR 文字识别软件，指利用 OCR （Optical Character Recognition，光学字符识别） 技术，将图片、照片上的文字内容，直接转换为可编辑文本的软件。软件可以把图片转换成可以编辑的文字。从验证码、身份证识别、驾驶证识别、票据识别，到如今更多的识别自然场景下的整句话，甚至理解 PDF 里面带错别字的整段文字，应用场景可谓非常之广。

了解 OCR 应用场景和概念

掌握深度学习训练 OCR 模型的整体流程和代码

实体关系抽取解决了原始文本中目标实体之间的关系分类问题，它也被广泛应用于文本    摘要、自动问答系统、知识图谱、搜索引擎和机器翻译中。中文实体关系抽取由于中文句式    和语法结构复杂，汉语有更多歧义，会影响关系分类的效果。

对实体关系抽取技术、在行业应用有很清晰的认识。学会如何从语料库中通过机器学习    和深度学习算法建立关系，服务于自动聊天机器人和知识图谱。

了解任务是从无结构的文本中抽取实体以及实体之间的关系（实体 1-关系-实体 2，三元组），这里的关系是我们预定义好的关系类型。

可以学到综合运用词嵌入、BiLSTM、CRF 等 NLP 相关知识

（Dialog Systems），是当前的一个研究热点。Microsoft 在聊天机器人领域下了巨大赌注，其他的公司，例如 Facebook（M）、Apple（Siri）、Google、WeChat 和 Slack 也不甘落后，推出了相关的产品。这股聊天机器人的新浪潮，也在一些创业公司兴起了：试图改变用户和服务之间的交互模式的产品

我们将会介绍用于搭建聊天机器人模型的深度学习技术，让同学对于“这个领域中，什    么是能做到的，什么是现阶段几乎不可能实现的”有一个清晰的认知。并且学习搭建检索式    聊天机器人和产生式聊天机器人。

对智能问答技术会有很清晰的认识

理解意图识别、实体关系抽取对 Chatbot 的作用可以学到一个聊天机器人项目实现

了解聊天机器人现阶段面临的挑战

知识图谱的应用从最初的 Google 搜索，已经蔓延到了聊天机器人，大数据风控、投资、智能医疗、自适应教育、推荐系统、物联网等多个重要领域，并逐步成为不可缺少的一门人工智能技术。

对知识图谱技术、行业应用有很清晰的认识。学到完整知识图谱项目全生命周期所涉关    键问题的解决思路。

对知识图谱技术、行业应用全貌会有很清晰的认识

可以学到一个完整知识图谱项目全生命周期所涉及到的步骤  对每个关键问题的解决思路

推荐系统在各种系统中广泛使用，推荐算法则是其中最核心的技术点， 为推荐系统选择正确的推荐算法是非常重要的决定。每一种推荐算法都有其优点和缺点，当然也有其限制    条件，在作出决定之前，必须要一一考量。在实践中，你可能会测试几种算法，以发现哪一    种最适合你的用户，学习中你也会直观地发现它们是什么以及它们的工作原理。

掌握推荐系统原理与工作方式，使用 SparkMLlib 库进行建模。并且掌握更多推荐系统相关算法的运用。

对推荐系统技术架构、行业应用全貌会有很透彻的理解掌握 SparkMLlib、Hive 数仓、python 脚本的综合使用掌握 GBDT+LR 架构在推荐系统的运用

掌握 FM 和 FFM 算法在推荐系统中的运用

智能商业分析项目对于企业的盈利会起到非常直接的影响，会深入影响企业制定战略策    略，也是很多企业非常看重的硬需求。成功案例比如，微博粉丝推广，宠物类目如何圈定投    放人群，如何保持有效客户池，店铺营销，如何招揽客圈人，挖掘潜在人群，ROI（投资回    报率）翻倍，企业成本控制。

全面了解智能商业的价值，了解运营的价值，挖掘深层次用户行为、消费能力、行业所    需，结合机器学习算法和 NLP 知识进行数据挖掘

掌握智能商业分析和运营的关系

通过机器学习算法、分类、预测、深层次学习特征发现 深入理解企业级用户画像系统

基于画像系统提高公司的收益

学会销售分析、投入分析、商品分析、促销分析、行为分析、CAC 模型精准分析用户、ROI 精准实现变现能力