张量分解学习优质PPT.ppt

张量分解学习优质PPT.ppt

《张量分解学习优质PPT.ppt》由会员分享，可在线阅读，更多相关《张量分解学习优质PPT.ppt（47页珍藏版）》请在冰豆网上搜索。

零阶张量（数量）：

基本概念及记号,5,纤维（fiber）,基本概念及记号,6,切片（slice）,基本概念及记号,7,内积和范数设内积：

（Frobenius）范数：

基本概念及记号,8,秩一张量/可合张量N阶张量是一个秩一张量，如果它能被写成N个向量的外积，即,基本概念及记号,9,（超）对称和（超）对角立方张量：

各个mode的长度相等对称：

一个立方张量是对称的，如果其元素在下标的任意排列下是常数。

如一个三阶立方张量是超对称的，如果对角：

仅当时，,基本概念及记号,10,张量的（超）对角线,展开（matricization/unfolding/flattening）将N阶张量沿mode-n展开成一个矩阵,基本概念及记号,11,三阶张量的mode-1展开,n-mode（矩阵）乘积一个张量和一个矩阵的n-mode乘积，其元素定义为这个定义可以写成沿mode-n展开的形式性质：

基本概念及记号,12,n-mode（向量）乘积一个张量和一个向量的n-mode乘积，其元素定义为性质：

基本概念及记号,13,矩阵的Kronecker乘积，则性质：

基本概念及记号,14,矩阵的Kronecker乘积矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如下关系,基本概念及记号,15,矩阵的Khatri-Rao乘积，则性质：

基本概念及记号,16,矩阵的Hadamard乘积，则性质：

基本概念及记号,17,CP分解,18,CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC（ParallelFactors）,Harshman,1970CANDECOMP/CAND（Canonicaldecomposition）,Carroll&

Chang,1970TopographicComponentsModel,Mcks,1988CP（CANDECOMP/PARAFAC）,Kiers,2000,CP分解,19,CP分解的张量形式将一个张量表示成有限个秩一张量之和，比如一个三阶张量可以分解为,CP分解,20,CP分解的矩阵形式因子矩阵：

秩一张量中对应的向量组成的矩阵，如利用因子矩阵，一个三阶张量的CP分解可以写成展开形式,CP分解,21,CP分解的切片形式三阶张量的CP分解有时按（正面）切片写成如下形式：

其中,CP分解,22,三阶张量CP分解的正面切片形式,带权CP分解为了计算方便，通常假设因子矩阵的列是单位长度的，从而需要引入一个权重向量，使CP分解变为对于高阶张量，有其展开形式为,CP分解,23,张量的秩和秩分解张量的秩定义为用秩一张量之和来精确表示所需要的秩一张量的最少个数，记为秩分解：

可见秩分解是一个特殊的CP分解，对应于矩阵的SVD目前还没有方法能够直接求解一个任意给定张量的秩，这被证明是一个NP-hard问题,CP分解,24,张量的秩不同于矩阵的秩，高阶张量的秩在实数域和复数域上不一定相同。

例如一个三阶张量在实数域内进行秩分解得到的因子矩阵为而在复数域内进行分解得到的因子矩阵为,CP分解,25,张量的低秩近似相对于矩阵的SVD来说，高阶张量的秩分解唯一性不需要正交性条件保证，只需满足：

这里表示矩阵的k-秩：

任意k列都线性无关的最大的k,CP分解,26,张量的低秩近似然而在低秩近似方面，高阶张量的性质比矩阵SVD差Kolda给出了一个例子，一个立方张量的最佳秩-1近似并不包括在其最佳秩-2近似中，这说明张量的秩-k近似无法渐进地得到下面的例子说明，张量的“最佳”秩-k近似甚至不一定存在,CP分解,27,张量的低秩近似退化：

如果一个张量能够被一系列的低秩张量任意逼近边缘秩（borderrank）：

能够任意逼近一个张量的最少的成分个数,CP分解,28,CP分解的计算分解成多少个秩一张量（成分）之和？

通常的做法是从1开始尝试，知道碰到一个“好”的结果为止如果有较强的应用背景和先验信息，可以预先指定对于给定的成分数目，怎么求解CP分解？

目前仍然没有一个完美的解决方案从效果来看，交替最小二乘（AlternatingLeastSquare）是一类比较有效的算法,CP分解,29,CP分解的计算以一个三阶张量为例，假定成分个数已知，目标为作为ALS的一个子问题，固定和，求解得再通过归一化分别求出和,CP分解,30,CP分解的计算ALS算法并不能保证收敛到一个极小点，甚至不一定能收敛到稳定点，它只能找到一个目标函数不再下降的点算法的初始化可以是随机的，也可以将因子矩阵初始化为对应展开的奇异向量，如将初始化为的前个左奇异向量,CP分解,31,CP分解的应用计量心理学语音分析化学计量学独立成分分析神经科学数据挖掘高维算子近似随即偏微分方程,CP分解,32,Tucker分解,33,Tucker分解的其他名字Three-modefactoranalysis（3MFA/Tucker3）,Tucker,1966Three-modeprincipalcomponentanalysis（3MPCA）,Kroonenberg&

DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD（HOSVD）,DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,2002,Tucker分解,34,Tucker分解Tucker分解是一种高阶的主成分分析，它将一个张量表示成一个核心（core）张量沿每一个mode乘上一个矩阵。

对于三阶张量来说，其Tucker分解为因子矩阵通常是正交的，可以视为沿相应mode的主成分,Tucker分解,35,Tucker分解容易看出，CP分解是Tucker分解的一种特殊形式：

如果核心张量是对角的，且，则Tucker分解就退化成了CP分解,Tucker分解,36,三阶张量的Tucker分解,Tucker分解的矩阵形式三阶Tucker分解的展开形式为Tucker分解可以推广到高阶张量,Tucker分解,37,Tucker2和Tucker1对于三阶张量固定一个因子矩阵为单位阵，就得到Tucker分解一个重要的特例：

Tucker2。

例如固定，则进一步，固定两个因子矩阵，就得到了Tucker1，例如令第二、三个因子矩阵为单位阵，则Tucker分解就退化成了普通的PCA,Tucker分解,38,张量的n-秩近似一个N阶张量的n-秩定义为若设，则叫做一个秩-张量如果，则很容易得到的一个精确秩-Tucker分解；

然而如果至少有一个使得，则通过Tucker分解得到的就是的一个秩-近似,Tucker分解,39,张量的n-秩近似,Tucker分解,40,张量的n-秩近似对于固定的n-秩，Tucker分解的唯一性不能保证，所以需要添加其他的约束通常要求核心张量是“简单”的，如各个mode的主成分之间尽量不发生相互作用（稀疏性），或者其他的“简单性”约束,Tucker分解,41,Tucker分解的计算HOSVD：

利用SVD对每个mode做一次Tucker1分解（截断或者不截断）HOSVD不能保证得到一个较好的近似，但HOSVD的结果可以作为一个其他迭代算法（如HOOI）的很好的初始解,Tucker分解,42,Tucker分解的计算为了导出HOOI迭代算法，先考虑目标函数从而应该满足,Tucker分解,43,Tucker分解的计算目标函数的平方变为,Tucker分解,44,Tucker分解的计算所以问题可以进行如下转化利用交替求解的思想，问题变为解如下子问题这个问题可以通过令为的前个左奇异值向量来解决,Tucker分解,45,Tucker分解的应用化学分析计量心理学信号处理机器视觉（面部、动作）数据压缩纹理生成数据挖掘环境和网络建模,Tucker分解,46,欢迎大家提出宝贵建议,47,