内积相似系数——内积度量相似系数

内积与相似系数内积Inner Product内积Inner Product也称为点积Dot Product或标量积两个向量点积的结果是一个标量通常是实数或复数。内积点积欧几里得空间中的内积在R n \mathbb{R}^nRnn nn维欧几里得空间中设两个向量x ( x 1 , x 2 , ⋯ , x n ) \boldsymbol{x} (x_1, x_2, \cdots, x_n)x(x1​,x2​,⋯,xn​)和y ( y 1 , y 2 , ⋯ , y n ) \boldsymbol{y} (y_1, y_2, \cdots, y_n)y(y1​,y2​,⋯,yn​)它们的内积定义为⟨ x , y ⟩ ∑ i 1 n x i y i x 1 y 1 x 2 y 2 ⋯ x n y n \langle \boldsymbol{x}, \boldsymbol{y} \rangle \sum_{i1}^{n} x_i y_i x_1 y_1 x_2 y_2 \cdots x_n y_n⟨x,y⟩i1∑n​xi​yi​x1​y1​x2​y2​⋯xn​yn​或者表示为x ⋅ y ∑ i 1 n x i y i x 1 y 1 x 2 y 2 ⋯ x n y n \boldsymbol{x} \cdot \boldsymbol{y} \sum_{i1}^{n} x_i y_i x_1 y_1 x_2 y_2 \cdots x_n y_nx⋅yi1∑n​xi​yi​x1​y1​x2​y2​⋯xn​yn​这个定义给出了两个向量的分量相乘然后求和的结果。内积是两个向量之间的一种运算其结果是一个实数。当x \boldsymbol{x}x和y \boldsymbol{y}y都是列向量时内积可以表示为⟨ x , y ⟩ x ⊤ y \langle \boldsymbol{x}, \boldsymbol{y} \rangle \boldsymbol{x}^{\top} \boldsymbol{y}⟨x,y⟩x⊤y其中x ⊤ \boldsymbol{x}^{\top}x⊤表示向量x \boldsymbol{x}x的转置。内积的性质内积满足以下基本性质对称性对于实向量空间x ⋅ y y ⋅ x \boldsymbol{x} \cdot \boldsymbol{y} \boldsymbol{y} \cdot \boldsymbol{x}x⋅yy⋅x对于复向量空间⟨ x , y ⟩ ⟨ y , x ⟩ ‾ \langle \boldsymbol{x}, \boldsymbol{y} \rangle \overline{\langle \boldsymbol{y}, \boldsymbol{x} \rangle}⟨x,y⟩⟨y,x⟩​。线性对于所有向量x , y , c \boldsymbol{x}, \boldsymbol{y}, \mathbf{c}x,y,c和所有标量α \alphaα有x ⋅ ( y c ) x ⋅ y x ⋅ c \boldsymbol{x} \cdot (\boldsymbol{y} \mathbf{c}) \boldsymbol{x} \cdot \boldsymbol{y} \boldsymbol{x} \cdot \mathbf{c}x⋅(yc)x⋅yx⋅c和x ⋅ ( α y ) α ( x ⋅ y ) \boldsymbol{x} \cdot (\alpha \boldsymbol{y}) \alpha (\boldsymbol{x} \cdot \boldsymbol{y})x⋅(αy)α(x⋅y)。正定性对于任意非零向量x \boldsymbol{x}x有x ⋅ x 0 \boldsymbol{x} \cdot \boldsymbol{x} 0x⋅x0如果x 0 \boldsymbol{x} 0x0则x ⋅ x 0 \boldsymbol{x} \cdot \boldsymbol{x} 0x⋅x0。内积在许多方面都有应用比如计算向量之间的角度、确定向量是否正交、计算投影等。在几何上两个向量的内积等于它们的模长乘积与夹角余弦的乘积即x ⋅ y ∥ x ∥ ∥ y ∥ cos ⁡ φ \boldsymbol{x} \cdot \boldsymbol{y} \| \boldsymbol{x} \| \| \boldsymbol{y} \| \cos\varphix⋅y∥x∥∥y∥cosφ这里∥ x ∥ \| \boldsymbol{x} \|∥x∥和∥ y ∥ \| \boldsymbol{y} \|∥y∥分别是向量x \boldsymbol{x}x和y \boldsymbol{y}y的长度模φ \varphiφ是它们之间的夹角。相似系数Similarity Coefficient在机器学习中内积经常用来衡量特征向量之间的相似性。余弦相似度一种常用的相似系数是余弦相似度Cosine Similarity它基于两个向量的内积和它们的模长或范数来定义。余弦相似度的公式如下cos ⁡ φ x ⋅ y ∥ x ∥ ∥ y ∥ \cos\varphi \frac{\boldsymbol{x} \cdot \boldsymbol{y}}{\|\boldsymbol{x}\| \|\boldsymbol{y}\|}cosφ∥x∥∥y∥x⋅y​这里φ \varphiφ是向量x \boldsymbol{x}x和y \boldsymbol{y}y之间的夹角∥ x ∥ \|\boldsymbol{x}\|∥x∥和∥ y ∥ \|\boldsymbol{y}\|∥y∥分别是向量x \boldsymbol{x}x和y \boldsymbol{y}y的模长。当向量归一化为单位向量时两个向量的内积即计算它们之间的夹角余弦。根据柯西-施瓦茨不等式余弦相似度的取值范围是[ − 1 , 1 ] [-1, 1][−1,1]0 00表示正交即不相关。皮尔逊相关系数另一种基于内积的相似性度量是皮尔逊相关系数Pearson Correlation Coefficientr x y x − x ˉ ∥ x − x ˉ ∥ ⋅ y − y ˉ ∥ y − y ˉ ∥ ∑ i 1 n ( x i − x ˉ ) ( y i − y ˉ ) ∑ i 1 n ( x i − x ˉ ) 2 ∑ i 1 n ( y i − y ˉ ) 2 r_{xy} \frac {{\boldsymbol x} - \bar{x}}{\lVert {\boldsymbol x}- \bar{x}\rVert }\cdot \frac {{\boldsymbol y} - \bar{y}} { \lVert {\boldsymbol y}- \bar{y} \rVert} \frac{\sum\limits_{i1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum\limits_{i1}^{n}(x_i - \bar{x})^2 \sum\limits_{i1}^{n}(y_i - \bar{y})^2}}rxy​∥x−xˉ∥x−xˉ​⋅∥y−yˉ​∥y−yˉ​​i1∑n​(xi​−xˉ)2i1∑n​(yi​−yˉ​)2​i1∑n​(xi​−xˉ)(yi​−yˉ​)​这里x i x_ixi​和y i y_iyi​是向量的元素x ˉ \bar{x}xˉ和y ˉ \bar{y}yˉ​是相应的均值。皮尔逊相关系数是内积在标准化向量上的应用。它考虑了变量的标准化去除了尺度影响。