深度学习学习笔记文档格式.docx
《深度学习学习笔记文档格式.docx》由会员分享,可在线阅读,更多相关《深度学习学习笔记文档格式.docx(16页珍藏版)》请在冰豆网上搜索。
向量(vector):
一个向量是一列数。
指定x1,x3和x6,我们定义集合S={1,3,6},然后写作xS。
我们用符号-表示集合的补集中的索引。
比如x−1表示x中除x1外的所有元素,x−S表示x中除x1,x3,x6外所有元素构成的向量
矩阵(matrix):
矩阵是一个二维数组,其中的每一个元素被两个索引(而非一个)所确定。
我们通常会赋予矩阵粗体的大写变量名称,比如A。
如果一个实数矩阵高度为m,宽度为n,那么我们说。
张量(tensor):
在某些情况下,我们会讨论坐标超过两维的数组。
一般地,一个数组中的元素分布在若干维坐标的规则网格中,我们称之为张量。
我们使用字体A来表示张量“A’’。
张量A中坐标为(i,j,k)的元素记作Ai,j,k
转置(transpose)是矩阵的重要操作之一。
矩阵的转置是以对角线为轴的镜像,
这条从左上角到右下角的对角线被称为主对角线(maindiagonal)。
图2.1显示了这
个操作。
我们将矩阵A的转置表示为A⊤,定义如下
标量可以看作是只有一个元素的矩阵。
因此,标量的转置等于它本身,
矩阵和向量相乘
矩阵A的列数必须和矩阵B的行数相等。
如果矩阵A的形状是m×
n,矩阵B的形状是n×
p,那么矩阵C的形状是m×
p。
C=AB.(2.4)
具体地,该乘法操作定义为
需要注意的是,两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。
不过,
那样的矩阵操作确实是存在的,被称为元素对应乘积(element-wiseproduct)或
者Hadamard乘积(Hadamardproduct),记为A⊙B。
两个相同维数的向量x和y的点积(dotproduct)可看作是矩阵乘积
矩阵乘积服从分配律:
A(B+C)=AB+AC.(2.6)
矩阵乘积也服从结合律:
A(BC)=(AB)C.(2.7)
2.3单位矩阵和逆矩阵
2.4线性相关和生成子空间
2.5范数