深度学习学习笔记.docx

深度学习学习笔记.docx

《深度学习学习笔记.docx》由会员分享，可在线阅读，更多相关《深度学习学习笔记.docx（16页珍藏版）》请在冰豆网上搜索。

深度学习学习笔记

第二章线性代数

标量（scalar）：

一个标量就是一个单独的数，

向量（vector）：

一个向量是一列数。

指定x1，x3和x6，我们定义集合S={1,3,6}，然后写作xS。

我们用符号－表示集合的补集中的索引。

比如x−1表示x中除x1外的所有元素，x−S表示x中除x1，x3，x6外所有元素构成的向量

矩阵（matrix）：

矩阵是一个二维数组，其中的每一个元素被两个索引（而非一个）所确定。

我们通常会赋予矩阵粗体的大写变量名称，比如A。

如果一个实数矩阵高度为m，宽度为n，那么我们说。

张量（tensor）：

在某些情况下，我们会讨论坐标超过两维的数组。

一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。

我们使用字体A来表示张量“A’’。

张量A中坐标为（i,j,k）的元素记作Ai,j,k

转置（transpose）是矩阵的重要操作之一。

矩阵的转置是以对角线为轴的镜像，

这条从左上角到右下角的对角线被称为主对角线（maindiagonal）。

图2.1显示了这

个操作。

我们将矩阵A的转置表示为A⊤，定义如下

标量可以看作是只有一个元素的矩阵。

因此，标量的转置等于它本身，

矩阵和向量相乘

矩阵A的列数必须和矩阵B的行数相等。

如果矩阵A的形状是m×n，矩阵B的形状是n×p，那么矩阵C的形状是m×p。

C=AB.（2.4）

具体地，该乘法操作定义为

需要注意的是，两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。

不过，

那样的矩阵操作确实是存在的，被称为元素对应乘积（element-wiseproduct）或

者Hadamard乘积（Hadamardproduct），记为A⊙B。

两个相同维数的向量x和y的点积（dotproduct）可看作是矩阵乘积

矩阵乘积服从分配律：

A（B+C）=AB+AC.（2.6）

矩阵乘积也服从结合律：

A（BC）=（AB）C.（2.7）

2.3单位矩阵和逆矩阵

2.4线性相关和生成子空间

2.5范数