深度学习原理4.表示学习

1.机器学习

2. 语义鸿沟

3. 什么是好的数据表示

4. 数据表示形式

分布式表示：所有维度加起来代表一个语义，如两个维度共同合起来代表一个语义。
分布式的表示的表示能力更强。
假设有n维的向量，我们只看非0的，有k个非0的取值的维度，每个维度我们二分，分为左右，每个维度可以表示两个语义，总共k个维度，那么就是2的k次方的语义。
而如果用局部表示，k维只能表示k个语义。

局部表示：每一维代表一个语义

1）例题:颜色表示方法

如rgb用三维表示了所有的颜色。
计算友好性：分布式表示支持相似度量化计算。
利用分布式表示，我们更好的计算不同颜色之间的相似度。

5.语义表示

6.词嵌入

如果要表示一个词的语义，我们将它投到一个语义空间当中，这个空间中，相似的词的距离比较近。

应用场景：自然语言处理中表示词语语义
空间组织：
地名（北京/上海）聚集在特定区域
情感词（高兴/难过）形成另一聚类
优势：保持语义关系（近义词距离小），便于后续计算

7.表示学习

核心思想：用深度模型自动学习特征表示（底层→中层→高层）
与传统流程对比：
取代人工特征工程
端到端学习：表示学习与预测任务联合优化

8. 传统的特征提取vs表示学习

特征提取是自己设一个好的特征的标准，但是这些对分类任务的影响好坏其实不一定的。特点是基于任务或者人的一些先验，去去除无用的特征，找出来有效的特征。但是和后面的分类器可能不相关。

表示学习是将数据的输入和输出串联到一起，希望学到的这种表示，对后面的分类有直接帮助，并且能蕴含着高层的语义特征。但是表示学习没有明确的目标，它的所有信息间接的来自于后面分类器的效果。