&p&简单罗列下：指数分布族具有一个最大熵性质，均值参数空间具有凸性，对其上的任意内部点，最小指数族都能找到相应的分布满足一些性质。所以一般考虑指数族。具体到VB法，E步骤是对隐变量后验概率的求解，其实质为计算相应的充分统计量，而M步骤为优化对应的参数向量（即参数的变分分布）。这两者可以看做一组共轭函数之间的最大熵与极大似然的共轭对偶关系。因为这是在指数分布族上的找最优分布，因此称为变分法。&/p&&p&如果想看variational inference的理论基础的话，建议lz看Graphical models, exponential families, and variational inference 的第3,5,6章。看完指数分布族，凸优化，共轭对偶，心里就很有底气了。&/p&&p&简单的入门，可以看下我以前写的文章：&a href=&///?target=http%3A////variational-bayes/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&变分贝叶斯算法理解与推导 - Junhao Hua 博客&i class=&icon-external&&&/i&&/a&&/p&
简单罗列下：指数分布族具有一个最大熵性质，均值参数空间具有凸性，对其上的任意内部点，最小指数族都能找到相应的分布满足一些性质。所以一般考虑指数族。具体到VB法，E步骤是对隐变量后验概率的求解，其实质为计算相应的充分统计量，而M步骤为优化对应的…
看到那么多带公式的，完善的推导，我写个带图的，公式少一些详细一些，但是不严谨的直观理解把，仅供参考。&br&&br&&b&一、先&/b&&b&从旋转和缩放角度，&/b&&b&理解一下特征向量和特征值的几何意义&/b&&br&从定义来理解特征向量的话，就是经过一个矩阵变换后，空间沿着特征向量的方向上相当于只发生了缩放，比如我们考虑下面的矩阵：&br&&img src=&///equation?tex=%5Cbegin%7Bbmatrix%7D%0A1.5+%26+0.5%5C%5C+%0A0.5+%26+1.0%0A%5Cend%7Bbmatrix%7D& alt=&\begin{bmatrix}
1.5 & 0.5\\
\end{bmatrix}& eeimg=&1&&&br&求这个变换的特征向量和特征值，分别是：&br&&img src=&///equation?tex=U%3D%5Cbegin%7Bbmatrix%7D%0A0.85+%26+-0.53%5C%5C+%0A0.53+%26+0.85%0A%5Cend%7Bbmatrix%7D& alt=&U=\begin{bmatrix}
0.85 & -0.53\\
0.53 & 0.85
\end{bmatrix}& eeimg=&1&&（列向量）&br&和&br&1.81，0.69&br&&br&用一个形象的例子来说明一下几何意义，我们考虑下面笑脸图案：&br&&img src=&/02d26c0f63edd30cd75faa3cfb21f47f_b.png& data-rawheight=&487& data-rawwidth=&562& class=&origin_image zh-lightbox-thumb& width=&562& data-original=&/02d26c0f63edd30cd75faa3cfb21f47f_r.png&&&br&为方便演示笑脸图案在0,0和1,1围起来的单位正方形里，同时也用两个箭头标出来了特征向量的方向。经过&img src=&///equation?tex=%5Cbegin%7Bbmatrix%7D%0A1.5+%26+0.5%5C%5C+%0A0.5+%26+1.0%0A%5Cend%7Bbmatrix%7D& alt=&\begin{bmatrix}
1.5 & 0.5\\
\end{bmatrix}& eeimg=&1&&的变换，也就是用这个图案中的每个点的坐标和这个矩阵做乘法，得到下面图案：&br&&img src=&/8f00cbd08d019eed528e2fc_b.png& data-rawheight=&325& data-rawwidth=&556& class=&origin_image zh-lightbox-thumb& width=&556& data-original=&/8f00cbd08d019eed528e2fc_r.png&&可以看到就是沿着两个正交的，特征向量的方向进行了缩放。这就是特征向量的一般的几何理解，这个理解我们也可以分解一下，从旋转和沿轴缩放的角度理解，分成三步：&br&&br&&br&&b&第一步&/b&，把特征向量所指的方向分别转到横轴和纵轴&br&&img src=&/8cab219fd933_b.png& data-rawheight=&506& data-rawwidth=&1370& class=&origin_image zh-lightbox-thumb& width=&1370& data-original=&/8cab219fd933_r.png&&&br&这一步相当于用U的转置，也就是&img src=&///equation?tex=U%5E%7BT%7D& alt=&U^{T}& eeimg=&1&&进行了变换&br&&br&&br&&b&第二步&/b&，然后把特征值作为缩放倍数，构造一个缩放矩阵&img src=&///equation?tex=%5Cbegin%7Bbmatrix%7D%0A1.81+%26+0%5C%5C+%0A0+%26+0.69%0A%5Cend%7Bbmatrix%7D& alt=&\begin{bmatrix}
1.81 & 0\\
\end{bmatrix}& eeimg=&1&&，矩阵分别沿着横轴和纵轴进行缩放：&br&&br&&img src=&/df8b69b3f9d598cae81d_b.png& data-rawheight=&428& data-rawwidth=&1147& class=&origin_image zh-lightbox-thumb& width=&1147& data-original=&/df8b69b3f9d598cae81d_r.png&&&br&&br&&b&第三步&/b&，很自然地，接下来只要把这个图案转回去，也就是直接乘U就可以了&br&&img src=&/7f732e1ce6f2_b.png& data-rawheight=&369& data-rawwidth=&1126& class=&origin_image zh-lightbox-thumb& width=&1126& data-original=&/7f732e1ce6f2_r.png&&所以，从旋转和缩放的角度，一个矩阵变换就是，旋转--&沿坐标轴缩放--&转回来，的三步操作，表达如下：&br&&img src=&///equation?tex=T%3DU+%5CSigma+U+%5E%7BT%7D+& alt=&T=U \Sigma U ^{T} & eeimg=&1&&&br&多提一句，这里给的是个(半)正定矩阵的例子，对于不镇定的矩阵，也是能分解为，旋转--&沿坐标轴缩放--&旋转，的三步的，只不过最后一步和第一步的两个旋转不是转回去的关系了，表达如下：&br&&img src=&///equation?tex=T%3DU+%5CSigma+V%5E%7BT%7D+& alt=&T=U \Sigma V^{T} & eeimg=&1&&&br&这个就是SVD分解，就不详细说了。&br&另外，这个例子是二维的，高维类似，但是形象理解需要脑补。&br&&br&&b&二、协方差矩阵的特征向量&/b&&br&PCA的意义其他答主都说得差不多了，一句话概括就是找到方差在该方向上投影最大的那些方向，比如下边这个图是用&img src=&///equation?tex=%5Cbegin%7Bbmatrix%7D%0A1+%26+0.5%5C%5C+%0A0.5+%26+1%0A%5Cend%7Bbmatrix%7D& alt=&\begin{bmatrix}
\end{bmatrix}& eeimg=&1&&作为些协方差矩阵产生的高斯分布样本：&br&：&br&&img src=&/19ea169deb44ba6240fd_b.png& data-rawheight=&409& data-rawwidth=&671& class=&origin_image zh-lightbox-thumb& width=&671& data-original=&/19ea169deb44ba6240fd_r.png&&大致用个椭圆圈出来分布，相关性最强的（0.707，0.707）方向就是投影之后方差最大的方向。&br&接下来我们不尝试严格证明，而是从旋转和缩放的角度形象理解一下，我们可以考虑把这个分布也旋转一下，让长轴在x轴上，短轴在y轴上，变成如下：&br&&img src=&/36ed9b9bffaa7bfad708_b.png& data-rawheight=&345& data-rawwidth=&544& class=&origin_image zh-lightbox-thumb& width=&544& data-original=&/36ed9b9bffaa7bfad708_r.png&&然后再沿着x轴和y轴，除以标准差，缩放成标准差为1的单位分布&br&&img src=&/327ecefd51c178b4c1eb0af2_b.png& data-rawheight=&461& data-rawwidth=&481& class=&origin_image zh-lightbox-thumb& width=&481& data-original=&/327ecefd51c178b4c1eb0af2_r.png&&注意，在这个除以标准差的过程中，标准差最大的轴，就对应着原空间中，样本投影后方差最大的方向。接下来，假设这个分布中的样本为&img src=&///equation?tex=X_U& alt=&X_U& eeimg=&1&&，则我们可以把一开始的样本表示为：&br&&img src=&///equation?tex=X%3DULX_U& alt=&X=ULX_U& eeimg=&1&&&br&用这么别扭的表示方式主要是为了接下来推公式方便，所以接下来推个简单的公式：&br&协方差矩阵，用S表示，则有&br&&img src=&///equation?tex=S_%7Bij%7D%3DE%5Cleft%5B+%28X_i-%5Cmu+_i%29%28X_j-%5Cmu+_j%29+%5Cright%5D+& alt=&S_{ij}=E\left[ (X_i-\mu _i)(X_j-\mu _j) \right] & eeimg=&1&&&br&因为这个分布里两个维度的均值都是0，所以有&br&&img src=&///equation?tex=S_%7Bij%7D%3DE%5Cleft%5B+X_iX_j+%5Cright%5D+& alt=&S_{ij}=E\left[ X_iX_j \right] & eeimg=&1&&&br&所以&br&&img src=&///equation?tex=S%3D%5Cfrac%7B1%7D%7BN%7D+XX%5ET& alt=&S=\frac{1}{N} XX^T& eeimg=&1&&&br&其中N是样本数，根据前面的&img src=&///equation?tex=X%3DULX_U& alt=&X=ULX_U& eeimg=&1&&，进一步展开这个公式：&br&&img src=&///equation?tex=S%3D%5Cfrac%7B1%7D%7BN%7D+XX%5ET%3D%5Cfrac%7B1%7D%7BN%7D%28ULX_U%29%28ULX_U%29%5ET%3DUL%28%5Cfrac%7B1%7D%7BN%7DX_U%7BX_U%7D%5ET%29L%5ETU%5ET& alt=&S=\frac{1}{N} XX^T=\frac{1}{N}(ULX_U)(ULX_U)^T=UL(\frac{1}{N}X_U{X_U}^T)L^TU^T& eeimg=&1&&&br&因为&img src=&///equation?tex=X_U& alt=&X_U& eeimg=&1&&是个单位方差的且无相关性的样本，所以&img src=&///equation?tex=%5Cfrac%7B1%7D%7BN%7DX_U%7BX_U%7D%5ET%3DI& alt=&\frac{1}{N}X_U{X_U}^T=I& eeimg=&1&&&br&另外L是个对角矩阵所以有&br&&img src=&///equation?tex=S%3DULL%5ETU%5ET%3DUL%5E2U%5ET%3DU%5CSigma+U%5ET& alt=&S=ULL^TU^T=UL^2U^T=U\Sigma U^T& eeimg=&1&&&br&&br&这个公式上一部分已经说过了。&br&所以&img src=&///equation?tex=%5CSigma+& alt=&\Sigma & eeimg=&1&&对角线上的元素对应的就是方差的大小，而缩放倍数就是标准差的大小，也就是特征值的开根号，而U就是要沿着缩放的方向，也就是问题中投影的方向，正是特征向量。
看到那么多带公式的，完善的推导，我写个带图的，公式少一些详细一些，但是不严谨的直观理解把，仅供参考。 一、先从旋转和缩放角度，理解一下特征向量和特征值的几何意义 从定义来理解特征向量的话，就是经过一个矩阵变换后，空间沿着特征向量的方向上相当…
&b&首先区分生成/判别方法和生成/判别模型。&/b&&br&有监督机器学习方法可以分为生成方法和判别方法（常见的生成方法有混合高斯模型、朴素贝叶斯法和隐形马尔科夫模型等，常见的判别方法有SVM、LR等），生成方法学习出的是生成模型，判别方法学习出的是判别模型。&br&&br&&br&&br&&br&&b&接着对生成模型和判别模型做更详细一点的解释。&/b&&br&&i&这里定义训练数据为(C,X)，C={c1,c2,....cn}是n个训练样本的label，X={x1,x2....xn}是n个训练样本的feature。定义单个测试数据为(&img src=&///equation?tex=%5Ctilde%7Bc%7D+& alt=&\tilde{c} & eeimg=&1&&,&img src=&///equation?tex=%5Ctilde%7Bx%7D+& alt=&\tilde{x} & eeimg=&1&&),&img src=&///equation?tex=%5Ctilde%7Bc%7D+& alt=&\tilde{c} & eeimg=&1&&为测试数据的lable，&img src=&///equation?tex=%5Ctilde%7Bx%7D+& alt=&\tilde{x} & eeimg=&1&&是测试样本的feature。&/i&&br&&br&1）训练完毕后，输入测试数据，判别模型&b&直接给出&/b&的是&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%29& alt=&P(\tilde{c}|\tilde{x})& eeimg=&1&&，即输出（label）关于输入（feature）的条件分布，实际上，这个分布的条件还有训练数据---------因为实际上我们是“看过”训练数据之后，学习到了对数据分布的后验认识，然后根据这个认识和测试样本的feature来做出测试样本属于哪个label的决策的，所以有&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%29& alt=&P(\tilde{c}|\tilde{x})& eeimg=&1&&=&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2CC%2CX%29& alt=&P(\tilde{c}|\tilde{x},C,X)& eeimg=&1&&。&br&&br&我们认为这个条件分布&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2CC%2CX%29& alt=&P(\tilde{c}|\tilde{x},C,X)& eeimg=&1&&由参数&img src=&///equation?tex=%5Ctheta+& alt=&\theta & eeimg=&1&&决定的，&br&即&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2C%5Ctheta++%29& alt=&P(\tilde{c}|\tilde{x},\theta
)& eeimg=&1&&------------------------------------------------------------------------------------------------------------①&br&那么&b&如何由&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2C%5Ctheta++%29& alt=&P(\tilde{c}|\tilde{x},\theta
)& eeimg=&1&&得到&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D+%29& alt=&P(\tilde{c}|\tilde{x} )& eeimg=&1&&&/b&呢？如果我们可以求出参数&img src=&///equation?tex=%5Ctheta+& alt=&\theta & eeimg=&1&&关于训练数据的的后验分布（这其实就是学习过程）&img src=&///equation?tex=P%28%5Ctheta%7CC%2CX%29& alt=&P(\theta|C,X)& eeimg=&1&&，那么就可以由&br&&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D+%29& alt=&P(\tilde{c}|\tilde{x} )& eeimg=&1&&=&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2CC%2CX+%29& alt=&P(\tilde{c}|\tilde{x},C,X )& eeimg=&1&&=&img src=&///equation?tex=%5Cint_%7B%7D%5E%7B%7D+P%28%5Ctilde%7Bc%7D%2C%5Ctheta%7C%5Ctilde%7Bx%7D%2CC%2CX%29d%5Ctheta& alt=&\int_{}^{} P(\tilde{c},\theta|\tilde{x},C,X)d\theta& eeimg=&1&&=&img src=&///equation?tex=%5Cint_%7B%7D%5E%7B%7D+P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2C%5Ctheta%29%5Ccdot+P%28%5Ctheta%7CC%2CX%29d%5Ctheta++& alt=&\int_{}^{} P(\tilde{c}|\tilde{x},\theta)\cdot P(\theta|C,X)d\theta
& eeimg=&1&&------------②&br&来得到想要的答案（关于②如何得到，请参考其他地方的讨论&a href=&/question/& class=&internal&&PRML第一章公式1.68如何推导？ - 机器学习 - 知乎&/a&，&a href=&///?target=https%3A///subject/2061116/discussion//& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&第31页公式1.68怎么推导的啊..&i class=&icon-external&&&/i&&/a&）。&br&&br&所以现在&b&问题转化成了求条件分布的参数&img src=&///equation?tex=%5Ctheta%0A& alt=&\theta
& eeimg=&1&&关于训练数据（C,X）的后验分布&img src=&///equation?tex=P%28%5Ctheta%7CC%2CX%29& alt=&P(\theta|C,X)& eeimg=&1&&&/b&。那么我们来看看怎么求这个后验分布。条件分布关于训练数据的似然函数&br&&img src=&///equation?tex=P%28C%7CX%2C%5Ctheta%29& alt=&P(C|X,\theta)& eeimg=&1&&=&img src=&///equation?tex=L%28%5Ctheta%29& alt=&L(\theta)& eeimg=&1&&=&img src=&///equation?tex=%5Cprod_%7Bi%3D1%7D%5E%7Bn%7DP%28c_%7Bi%7D%7Cx_%7Bi%7D%2C%5Ctheta%29+& alt=&\prod_{i=1}^{n}P(c_{i}|x_{i},\theta) & eeimg=&1&&--------------------------------------------------------------------------③&br&有没有发现&img src=&///equation?tex=P%28C%7CX%2C%5Ctheta%29& alt=&P(C|X,\theta)& eeimg=&1&&和&img src=&///equation?tex=P%28%5Ctheta%7CC%2CX%29& alt=&P(\theta|C,X)& eeimg=&1&&有一点像？像在&img src=&///equation?tex=%5Ctheta& alt=&\theta& eeimg=&1&&和C互换了位置，互为条件概率，可以考虑使用贝叶斯公式来进行转化，即&br&&img src=&///equation?tex=P%28%5Ctheta%7CC%2CX%29& alt=&P(\theta|C,X)& eeimg=&1&&=&img src=&///equation?tex=%5Cfrac%7BP%28C%7CX%2C%5Ctheta%29%5Ccdot+P%28%5Ctheta%29%7D%7BP%28C%7CX%29%7D+& alt=&\frac{P(C|X,\theta)\cdot P(\theta)}{P(C|X)} & eeimg=&1&&------------------------------------------------------------------------------④&br&所以现在问题又进行了转化，变成了求条件分布关于训练数据的似然函数、参数&img src=&///equation?tex=%5Ctheta& alt=&\theta& eeimg=&1&&的先验分布和C关于X的条件分布三个小问题。我们已经知道似然函数怎么求，先验分布也不需要求（先验知识，就是我们在解决问题之前已经知道的知识），而&br&&img src=&///equation?tex=P%28C%7CX%29& alt=&P(C|X)& eeimg=&1&&=&img src=&///equation?tex=%5Cint_%7B%7D%5E%7B%7D+P%28C%2C%5Ctheta%7CX%29d%5Ctheta& alt=&\int_{}^{} P(C,\theta|X)d\theta& eeimg=&1&&=&img src=&///equation?tex=%5Cint_%7B%7D%5E%7B%7DP%28C%7CX%2C%5Ctheta%29%5Ccdot+P%28%5Ctheta%29d%5Ctheta& alt=&\int_{}^{}P(C|X,\theta)\cdot P(\theta)d\theta& eeimg=&1&&----------------------------------------------⑤&br&至此问题已经解决，&b&综合上述①-⑤各式&/b&，我们终于可以求出输出关于输入的条件分布啦！&br&&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D+%29& alt=&P(\tilde{c}|\tilde{x} )& eeimg=&1&&=&img src=&///equation?tex=%5Cint_%7B%7D%5E%7B%7D+P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2C%5Ctheta%29%5Ccdot+%5Cfrac%7BP%28C%7CX%2C%5Ctheta%29%5Ccdot+P%28%5Ctheta%29%7D%7B%5Cint_%7B%7D%5E%7B%7DP%28C%7CX%2C%5Ctheta%29%5Ccdot+P%28%5Ctheta%29d%5Ctheta%7D+d%5Ctheta++& alt=&\int_{}^{} P(\tilde{c}|\tilde{x},\theta)\cdot \frac{P(C|X,\theta)\cdot P(\theta)}{\int_{}^{}P(C|X,\theta)\cdot P(\theta)d\theta} d\theta
& eeimg=&1&&---------------------------------------------------⑥&br&&br&⑥中的两个积分的计算是很麻烦的，在实际解决问题的过程中要想办法省略掉。&br&对于②中积分公式可以使用variational inference的方法干掉，variational inference用一句话来说就是：如果训练样本足够多的话，可以使用&img src=&///equation?tex=%5Ctheta& alt=&\theta& eeimg=&1&&的最大后验分布&img src=&///equation?tex=%5Ctheta_%7Bmap%7D& alt=&\theta_{map}& eeimg=&1&&来对&img src=&///equation?tex=%5Ctheta& alt=&\theta& eeimg=&1&&进行点估计(point estimate)。即有：&br&&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D+%29& alt=&P(\tilde{c}|\tilde{x} )& eeimg=&1&&=&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2CC%2CX+%29& alt=&P(\tilde{c}|\tilde{x},C,X )& eeimg=&1&&=&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%2C%5Ctheta_%7Bmap%7D%29& alt=&P(\tilde{c}|\tilde{x},\theta_{map})& eeimg=&1&&----------------------------------------------------------------------⑦&br&所以我们干掉了第一个积分问题，把问题简化成了求&img src=&///equation?tex=%5Ctheta& alt=&\theta& eeimg=&1&&的最大后验概率&img src=&///equation?tex=P%28%5Ctheta%7CC%2CX%29& alt=&P(\theta|C,X)& eeimg=&1&&。&br&观察④式可以发现分子&img src=&///equation?tex=P%28C%7CX%29& alt=&P(C|X)& eeimg=&1&&是常数，如果我们省略掉④中的分子&img src=&///equation?tex=P%28C%7CX%29& alt=&P(C|X)& eeimg=&1&&对结果是没有影响的（只需要对分子进行normalize就可以得到后验概率&img src=&///equation?tex=P%28%5Ctheta%7CC%2CX%29& alt=&P(\theta|C,X)& eeimg=&1&&），那么我们又干掉了第二个积分公式，将问题简化成了求&img src=&///equation?tex=P%28C%7CX%2C%5Ctheta%29%5Ccdot+P%28%5Ctheta%29& alt=&P(C|X,\theta)\cdot P(\theta)& eeimg=&1&&的最大值。如果先验分布在似然函数较大的区间是固定不变或变化较小的，那么问题又可以转化成求最大似然函数！&br&&b&实际上，在噪声高斯分布的假设下，最小误差平方和优化问题（即求使误差平方和最小的参数）等价于求最大似然函数（即使似然函数最大的参数）&/b&。&br&&br&&br&&b&做一个总结，判别模型求解的思路是：条件分布------&模型参数后验概率最大-------&（似然函数&img src=&///equation?tex=%5Ccdot+& alt=&\cdot & eeimg=&1&&参数先验）最大-------&最大似然&/b&&br&&br&&br&&br&&br&2）现在考虑生成模型。给定输入&i&&img src=&///equation?tex=%5Ctilde%7Bx%7D+& alt=&\tilde{x} & eeimg=&1&&，&/i&生成模型可以给出输入和输出的联合分布&img src=&///equation?tex=P%28%5Ctilde%7Bx%7D%2C%5Ctilde%7Bc%7D%29+& alt=&P(\tilde{x},\tilde{c}) & eeimg=&1&&，所以生成方法的目标是求出这个联合分布。这里以朴素贝叶斯模型为例，我们要求的目标可以通过：&br&&img src=&///equation?tex=P%28%5Ctilde%7Bx%7D%2C%5Ctilde%7Bc%7D%29+& alt=&P(\tilde{x},\tilde{c}) & eeimg=&1&&=&img src=&///equation?tex=P%28%5Ctilde%7Bx%7D%7C%5Ctilde%7Bc%7D+%29%5Ccdot+P%28%5Ctilde%7Bc%7D%29& alt=&P(\tilde{x}|\tilde{c} )\cdot P(\tilde{c})& eeimg=&1&&------------------------------------------------------------------------------------------⑧&br&这样将求联合分布的问题转化成了求类别先验概率和类别条件概率的问题，朴素贝叶斯方法做了一个较强的假设--------feature的不同维度是独立分布的，简化了类别条件概率的计算，如果去除假设就是贝叶斯网络，这里不再赘述。&br&以朴素贝叶斯为例，&b&生成模型的求解思路是：联合分布-------&求解类别先验概率和类别条件概率&/b&&br&&br&&br&&br&&br&&br&&br&&br&&b&最后说一说两种模型的优缺点：&/b&&br&&br&生成模型：&br&优点：&br&1）生成给出的是联合分布&img src=&///equation?tex=P%28%5Ctilde%7Bx%7D%2C%5Ctilde%7Bc%7D%29+& alt=&P(\tilde{x},\tilde{c}) & eeimg=&1&&，不仅能够由联合分布计算条件分布&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D%29& alt=&P(\tilde{c}|\tilde{x})& eeimg=&1&&（反之则不行），还可以给出其他信息，比如可以使用&img src=&///equation?tex=P%28%5Ctilde%7Bx%7D+%29%3D%5Csum_%7Bi%3D1%7D%5E%7Bk%7D%7BP%28%5Ctilde%7Bx%7D%7C%5Ctilde%7Bc%7D_%7Bi%7D%29%7D+& alt=&P(\tilde{x} )=\sum_{i=1}^{k}{P(\tilde{x}|\tilde{c}_{i})} & eeimg=&1&&&img src=&///equation?tex=%2AP%28%5Ctilde%7Bc_i%7D+%29& alt=&*P(\tilde{c_i} )& eeimg=&1&&来计算边缘分布&img src=&///equation?tex=P%28%5Ctilde%7Bx%7D+%29& alt=&P(\tilde{x} )& eeimg=&1&&。如果一个输入样本的边缘分布&img src=&///equation?tex=P%28%5Ctilde%7Bx%7D+%29& alt=&P(\tilde{x} )& eeimg=&1&&很小的话，那么可以认为学习出的这个模型可能不太适合对这个样本进行分类，分类效果可能会不好，这也是所谓的&i&outlier detection。&/i&&br&2）生成模型收敛速度比较快，即当样本数量较多时，生成模型能更快地收敛于真实模型。&br&3）生成模型能够应付存在隐变量的情况，比如混合高斯模型就是含有隐变量的生成方法。&br&&br&缺点：&br&1）天下没有免费午餐，联合分布是能提供更多的信息，但也需要更多的样本和更多计算，尤其是为了更准确估计类别条件分布，需要增加样本的数目，而且类别条件概率的许多信息是我们做分类用不到，因而如果我们只需要做分类任务，就浪费了计算资源。&br&2）另外，实践中多数情况下判别模型效果更好。&br&&br&&br&判别模型：&br&优点：&br&1）与生成模型缺点对应，首先是节省计算资源，另外，需要的样本数量也少于生成模型。&br&2）准确率往往较生成模型高。&br&3）由于直接学习&img src=&///equation?tex=P%28%5Ctilde%7Bc%7D%7C%5Ctilde%7Bx%7D+%29& alt=&P(\tilde{c}|\tilde{x} )& eeimg=&1&&，而不需要求解类别条件概率，所以允许我们对输入进行抽象（比如降维、构造等），从而能够简化学习问题。&br&&br&缺点：&br&1）是没有生成模型的上述优点。
首先区分生成/判别方法和生成/判别模型。 有监督机器学习方法可以分为生成方法和判别方法（常见的生成方法有混合高斯模型、朴素贝叶斯法和隐形马尔科夫模型等，常见的判别方法有SVM、LR等），生成方法学习出的是生成模型，判别方法学习出的是判别模型。 接…
&img src=&/v2-852e3ffd0c482de49d69f87b2a4b4d4d_b.jpg& data-rawwidth=&1684& data-rawheight=&999& class=&origin_image zh-lightbox-thumb& width=&1684& data-original=&/v2-852e3ffd0c482de49d69f87b2a4b4d4d_r.jpg&&知乎专栏处女作，写得不好请轻拍。在此之前已在微信公众号写了一些文章，立个flag，后续会逐步转过来。这个专栏将记录我看过的一些paper，也将监督我多看paper少水手机。好了，进入正题。&h2&VAEs简介&/h2&&p&变分自编码器（Variational auto-encoder，VAE）是一类重要的生成模型（generative model），它于2013年由Diederik P.Kingma和Max Welling提出[1]。2016年Carl Doersch写了一篇VAEs的tutorial[2]，对VAEs做了更详细的介绍，比文献[1]更易懂。这篇读书笔记基于文献[1]。&/p&&p&除了VAEs，还有一类重要的生成模型GANs（对GANs感兴趣可以去我的微信公众号看介绍文章：学术兴趣小组）。&/p&&p&我们来看一下VAE是怎样设计的。&/p&&p&&img src=&/v2-c2acbafcfd460dd_b.jpg& data-rawwidth=&268& data-rawheight=&228& class=&content_image& width=&268&&上图是VAE的图模型。我们能观测到的数据是&img src=&/equation?tex=%5Ctext%7Bx%7D& alt=&\text{x}& eeimg=&1&&，而&img src=&/equation?tex=%5Ctext%7Bx%7D& alt=&\text{x}& eeimg=&1&&由隐变量&img src=&/equation?tex=%5Ctext%7Bz%7D& alt=&\text{z}& eeimg=&1&&产生，由&img src=&/equation?tex=%5Ctext%7Bz%7D%5Crightarrow+%5Ctext%7Bx%7D& alt=&\text{z}\rightarrow \text{x}& eeimg=&1&&是生成模型&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29& alt=&p_{\theta}(\text{x}|\text{z})& eeimg=&1&&，从自编码器（auto-encoder）的角度来看，就是解码器；而由&img src=&/equation?tex=%5Ctext%7Bx%7D%5Crightarrow+%5Ctext%7Bz%7D& alt=&\text{x}\rightarrow \text{z}& eeimg=&1&&是识别模型（recognition model）&img src=&/equation?tex=q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%29& alt=&q_{\phi}(\text{z}|\text{x})& eeimg=&1&&，类似于自编码器的编码器。&/p&&p&VAEs现在广泛地用于生成图像，当生成模型&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29& alt=&p_{\theta}(\text{x}|\text{z})& eeimg=&1&&训练好了以后，我们就可以用它来生成图像了。与GANs不同的是，我们是知道图像的密度函数（PDF）的（或者说，是我们设定的），而GANs我们并不知道图像的分布。&/p&&br&&h2&VAEs模型的理论推导&/h2&&p&以下的推导参考了文献[1]和[3]，文献[3]是变分推理的课件。&/p&&p&首先，假定所有的数据都是独立同分布的（i.i.d），两个观测不会相互影响。我们要对生成模型&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29& alt=&p_{\theta}(\text{x}|\text{z})& eeimg=&1&&做参数估计，利用对数最大似然法，就是要最大化下面的对数似然函数：&/p&&br&&img src=&/equation?tex=%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%281%29%7D%2C%5Ctext%7Bx%7D%5E%7B%282%29%7D%2C%5Ccdots%2C%5Ctext%7Bx%7D%5E%7B%28N%29%7D%29%3D%5Csum_%7Bi%3D1%7D%5EN+%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&\log p_{\theta}(\text{x}^{(1)},\text{x}^{(2)},\cdots,\text{x}^{(N)})=\sum_{i=1}^N \log p_{\theta}(\text{x}^{(i)})& eeimg=&1&&&br&&p&VAEs用识别模型&img src=&/equation?tex=q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&q_{\phi}(\text{z}|\text{x}^{(i)})& eeimg=&1&&去逼近真实的后验概率&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&p_{\theta}(\text{z}|\text{x}^{(i)})& eeimg=&1&&，衡量两个分布的相似程度，我们一般采用KL散度，即&/p&&img src=&/equation?tex=KL%28q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7C%7Cp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%29%26%3D%26%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+%5Cfrac%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%7Bp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%5C%5C%0A%26%3D%26%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+%5Cfrac%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%7Bp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%5C%5C%0A%26%3D%26%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+%5Cfrac%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%7Bp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%2C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%2B%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%5C%5C%0A%26%3D%26%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+%5Cfrac%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%7Bp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%2C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%2B%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&KL(q_{\phi}(\text{z}|\text{x}^{(i)})||p_{\theta}(\text{z}|\text{x}^{(i)}))&=&\mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log \frac{q_{\phi}(\text{z}|\text{x}^{(i)})}{p_{\theta}(\text{z}|\text{x}^{(i)})}\\
&=&\mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log \frac{q_{\phi}(\text{z}|\text{x}^{(i)})p_{\theta}(\text{x}^{(i)})}{p_{\theta}(\text{z}|\text{x}^{(i)})p_{\theta}(\text{x}^{(i)})}\\
&=&\mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log \frac{q_{\phi}(\text{z}|\text{x}^{(i)})}{p_{\theta}(\text{z},\text{x}^{(i)})}+\mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log p_{\theta}(\text{x}^{(i)})\\
&=&\mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log \frac{q_{\phi}(\text{z}|\text{x}^{(i)})}{p_{\theta}(\text{z},\text{x}^{(i)})}+\log p_{\theta}(\text{x}^{(i)})& eeimg=&1&&&br&&p&于是&/p&&img src=&/equation?tex=%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%3DKL%28q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%2C+p_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%29%2B%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&\log p_{\theta}(\text{x}^{(i)})=KL(q_{\phi}(\text{z}|\text{x}^{(i)}), p_{\theta}(\text{z}|\text{x}^{(i)}))+\mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&&br&&p&其中，&/p&&img src=&/equation?tex=%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%26+%3D%26+-%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+%5Cfrac%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%7Bp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%2C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D%5C%5C%0A%26%3D%26%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%2C+%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29+-+%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%5C%5C& alt=&\mathcal{L}(\theta,\\text{x}^{(i)})& =& -\mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log \frac{q_{\phi}(\text{z}|\text{x}^{(i)})}{p_{\theta}(\text{z},\text{x}^{(i)})}\\
&=&\mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log p_{\theta}(\text{z}, \text{x}^{(i)}) - \mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log q_{\phi}(\text{z}|\text{x}^{(i)})\\& eeimg=&1&&&br&&p&由于KL散度非负，当两个分布一致时（允许在一个零测集上不一致），KL散度为0。于是&img src=&/equation?tex=%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29+%5Cgeq+%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&\log p_{\theta}(\text{x}^{(i)}) \geq \mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&。&img src=&/equation?tex=+%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=& \mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&称为对数似然函数的变分下界。&/p&&p&直接优化&img src=&/equation?tex=%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&\log p_{\theta}(\text{x}^{(i)})& eeimg=&1&&是不可行的，因此一般转而优化它的下界&img src=&/equation?tex=+%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=& \mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&。对应的，优化对数似然函数转化为优化&img src=&/equation?tex=+%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7BX%7D%29%3D%5Csum_%7Bi%3D1%7D%5EN++%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=& \mathcal{L}(\theta,\\text{X})=\sum_{i=1}^N
\mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&。&br&&/p&&br&&p&作者指出，&img src=&/equation?tex=+%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=& \mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&对&img src=&/equation?tex=%5Cphi& alt=&\phi& eeimg=&1&&的梯度方差很大，不适于用于数值计算。为了解决这个问题，假定识别模型&img src=&/equation?tex=q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%29& alt=&q_{\phi}(\text{z}|\text{x})& eeimg=&1&&可以写成可微函数&img src=&/equation?tex=g_%7B%5Cphi%7D%28%5Cepsilon%2C+%5Ctext%7Bx%7D%29& alt=&g_{\phi}(\epsilon, \text{x})& eeimg=&1&&，其中，&img src=&/equation?tex=%5Cepsilon& alt=&\epsilon& eeimg=&1&&为噪声，&img src=&/equation?tex=%5Cepsilon+%5Csim+p%28%5Cepsilon%29& alt=&\epsilon \sim p(\epsilon)& eeimg=&1&&。于是，&img src=&/equation?tex=+%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=& \mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&可以做如下估计（利用蒙特卡罗方法估计期望）：&/p&&img src=&/equation?tex=%5Cmathcal%7B%5Ctilde%7BL%7D%7D%5EA%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%3D%5Cfrac%7B1%7D%7BL%7D%5Csum_%7Bl%3D1%7D%5EL+%5B%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%2C+%5Ctext%7Bz%7D%5E%7B%28i%2Cl%29%7D%29+-+%5Clog+q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%5E%7B%28i%2Cl%29%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%5D& alt=&\mathcal{\tilde{L}}^A(\theta,\\text{x}^{(i)})=\frac{1}{L}\sum_{l=1}^L [\log p_{\theta}(\text{x}^{(i)}, \text{z}^{(i,l)}) - \log q_{\phi}(\text{z}^{(i,l)}|\text{x}^{(i)})]& eeimg=&1&&&br&&p&其中，&img src=&/equation?tex=%5Ctext%7Bz%7D%5E%7B%28i%2Cl%29%7D%3Dg_%7B%5Cphi%7D%28%5Cepsilon%5E%7B%28i%2Cl%29%7D%2C+%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%2C+%5Cquad+%5Cepsilon%5E%7B%28i%2Cl%29%7D+%5Csim+p%28%5Cepsilon%29& alt=&\text{z}^{(i,l)}=g_{\phi}(\epsilon^{(i,l)}, \text{x}^{(i)}), \quad \epsilon^{(i,l)} \sim p(\epsilon)& eeimg=&1&&。&br&&/p&&p&此外，&img src=&/equation?tex=+%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=& \mathcal{L}(\theta,\\text{x}^{(i)})& eeimg=&1&&还可以改写为&/p&&br&&img src=&/equation?tex=%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%3D-KL%28q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7C%7Cp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%29%29+%2B+%5Cmathbb%7BE%7D_%7Bq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7D+%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%7C%5Ctext%7Bz%7D%29& alt=&\mathcal{L}(\theta,\\text{x}^{(i)})=-KL(q_{\phi}(\text{z}|\text{x}^{(i)})||p_{\theta}(\text{z})) + \mathbb{E}_{q_{\phi}(\text{z}|\text{x}^{(i)})} \log p_{\theta}(\text{x}^{(i)}|\text{z})& eeimg=&1&&&br&&p&由此可以得到另外一个估计&/p&&img src=&/equation?tex=%5Cmathcal%7B%5Ctilde%7BL%7D%7D%5EB%28%5Ctheta%2C+%5Cphi%3B+%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%3D-KL%28q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%7C%7Cp_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%29%29+%2B%5Cfrac%7B1%7D%7BL%7D+%5Csum_%7Bl%3D1%7D%5EL+%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%7C%5Ctext%7Bz%7D%5E%7B%28i%2Cl%29%7D%29& alt=&\mathcal{\tilde{L}}^B(\theta, \ \text{x}^{(i)})=-KL(q_{\phi}(\text{z}|\text{x}^{(i)})||p_{\theta}(\text{z})) +\frac{1}{L} \sum_{l=1}^L \log p_{\theta}(\text{x}^{(i)}|\text{z}^{(i,l)})& eeimg=&1&&&br&&p&其中，&img src=&/equation?tex=%5Ctext%7Bz%7D%5E%7B%28i%2Cl%29%7D%3Dg_%7B%5Cphi%7D%28%5Cepsilon%5E%7B%28i%2Cl%29%7D%2C+%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29%2C+%5Cquad+%5Cepsilon%5E%7B%28i%2Cl%29%7D+%5Csim+p%28%5Cepsilon%29& alt=&\text{z}^{(i,l)}=g_{\phi}(\epsilon^{(i,l)}, \text{x}^{(i)}), \quad \epsilon^{(i,l)} \sim p(\epsilon)& eeimg=&1&&。&/p&&p&实际试验时，如果样本量&img src=&/equation?tex=N& alt=&N& eeimg=&1&&很大，我们一般采用minibatch的方法进行学习，对数似然函数的下界可以通过minibatch来估计：&/p&&img src=&/equation?tex=%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7BX%7D%29%5Csimeq+%5Cmathcal%7B%5Ctilde%7BL%7D%7D%5EM+%28%5Ctheta%2C%5Cphi%3B%5Ctext%7BX%7D%5EM%29%3D%5Cfrac%7BN%7D%7BM%7D%5Csum_%7Bi%3D1%7D%5EM+%5Cmathcal%7B%5Ctilde%7BL%7D%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29& alt=&\mathcal{L}(\theta,\\text{X})\simeq \mathcal{\tilde{L}}^M (\theta,\\text{X}^M)=\frac{N}{M}\sum_{i=1}^M \mathcal{\tilde{L}}(\theta,\\text{x}^{(i)})& eeimg=&1&&&br&&br&可以看到，为了计算&img src=&/equation?tex=%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7BX%7D%29& alt=&\mathcal{L}(\theta,\\text{X})& eeimg=&1&&，我们用了两层估计。当&img src=&/equation?tex=M& alt=&M& eeimg=&1&&较大时，内层估计可以由外层估计来完成，也就是说，取&img src=&/equation?tex=L%3D1& alt=&L=1& eeimg=&1&&即可。实际计算中，作者取&img src=&/equation?tex=M%3D100%2CL%3D1& alt=&M=100,L=1& eeimg=&1&&。由上述推导得到AEVB算法：&img src=&/v2-abcbf504cd361b149caca56fea7c90a3_b.jpg& data-rawwidth=&892& data-rawheight=&288& class=&origin_image zh-lightbox-thumb& width=&892& data-original=&/v2-abcbf504cd361b149caca56fea7c90a3_r.jpg&&&h2&VAEs模型&/h2&&p&上面给的AEVB算法是一个算法框架，只有给定了&img src=&/equation?tex=%5Cepsilon%2C+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29%2C+q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%29%2C+p_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%29& alt=&\epsilon, p_{\theta}(\text{x}|\text{z}), q_{\phi}(\text{z}|\text{x}), p_{\theta}(\text{z})& eeimg=&1&&分布的形式以及&img src=&/equation?tex=g_%7B%5Cphi%7D%28%5Cepsilon%2C+%5Ctext%7Bx%7D%29& alt=&g_{\phi}(\epsilon, \text{x})& eeimg=&1&&，我们才能启动算法。实际应用中，作者取&/p&&img src=&/equation?tex=p%28%5Cepsilon%29+%26%3D%26+%5Cmathcal%7BN%7D%28%5Cepsilon%3B+0%2C%5Ctext%7BI%7D%29%5C%5C%0Aq_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29+%26%3D%26+%5Cmathcal%7BN%7D%28%5Ctext%7Bz%7D%3B+%7B%5Cmu%7D%5E%7B%28i%29%7D%2C+%7B%5Csigma%7D%5E%7B2%28i%29%7D%5Ctext%7BI%7D%29%5C%5C%0Ap_%7B%5Ctheta%7D%28%5Ctext%7Bz%7D%29%26%3D%26%5Cmathcal%7BN%7D%28%5Ctext%7Bz%7D%3B+0%2C%5Ctext%7BI%7D%29%5C%5C%0Ag_%7B%5Cphi%7D%28%5Cepsilon%5E%7B%28l%29%7D%2C+%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29+%26%3D%26+%7B%5Cmu%7D%5E%7B%28i%29%7D%2B%7B%5Csigma%7D%5E%7B%28i%29%7D%5Codot+%5Cepsilon%5E%7B%28l%29%7D& alt=&p(\epsilon) &=& \mathcal{N}(\ 0,\text{I})\\
q_{\phi}(\text{z}|\text{x}^{(i)}) &=& \mathcal{N}(\text{z}; {\mu}^{(i)}, {\sigma}^{2(i)}\text{I})\\
p_{\theta}(\text{z})&=&\mathcal{N}(\text{z}; 0,\text{I})\\
g_{\phi}(\epsilon^{(l)}, \text{x}^{(i)}) &=& {\mu}^{(i)}+{\sigma}^{(i)}\odot \epsilon^{(l)}& eeimg=&1&&&br&&p&而&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29& alt=&p_{\theta}(\text{x}|\text{z})& eeimg=&1&&根据样本是实值还是二元数据进行选择，若样本为二元数据，则选择&/p&&br&&img src=&/equation?tex=p_%7B%5Ctheta%7D%28x_i%7C%5Ctext%7Bz%7D%29%3D%5Cmathcal%7BB%7D%28x_i%3B1%2Cy_i%29%3Dy_i%5E%7Bx_i%7D%5Ccdot+%281-y_i%29%5E%7B1-x_i%7D%2C+%5Cquad+i%3D1%2C2%2C%5Ccdots%2CD_%7B%5Ctext+x%7D%28D_%7B%5Ctext+x%7D%3D%5Cdim%28%5Ctext%7Bx%7D%29%29& alt=&p_{\theta}(x_i|\text{z})=\mathcal{B}(x_i;1,y_i)=y_i^{x_i}\cdot (1-y_i)^{1-x_i}, \quad i=1,2,\cdots,D_{\text x}(D_{\text x}=\dim(\text{x}))& eeimg=&1&&&br&&p&若样本是实值数据，则选择&/p&&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%7C%5Ctext%7Bz%7D%29%3D%5Cmathcal%7BN%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D%3B+%5Cmu%27%5E%7B%28i%29%7D%2C%5Csigma%27%5E%7B2%28i%29%7D%5Ctext%7BI%7D%29& alt=&p_{\theta}(\text{x}^{(i)}|\text{z})=\mathcal{N}(\text{x}^{(i)}; \mu'^{(i)},\sigma'^{2(i)}\text{I})& eeimg=&1&&&br&&p&实验中，作者选择多层感知器（MLP）对&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29%2C+q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%29& alt=&p_{\theta}(\text{x}|\text{z}), q_{\phi}(\text{z}|\text{x})& eeimg=&1&&进行拟合，具体来说，&/p&&p&对&img src=&/equation?tex=p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29& alt=&p_{\theta}(\text{x}|\text{z})& eeimg=&1&&，参数为&img src=&/equation?tex=%5Ctheta%3D%28%5Cmu%27%2C+%5Csigma%27%29& alt=&\theta=(\mu', \sigma')& eeimg=&1&&，若样本为二元数据，则&/p&&br&&img src=&/equation?tex=%5Clog+p%28%5Ctext%7Bx%7D%7C%5Ctext%7Bz%7D%29+%26%3D+%26%5Csum_%7Bi%3D1%7D%5E%7BD_%5Ctext+x%7D+x_i+%5Clog+y_i+%2B+%281-x_i%29%5Ccdot+%5Clog+%281-y_i%29%5C%5C%0A%5Ctext%7By%7D%26%3D%26%5Ctext%7Bsigmoid%7D%28%5Ctext+W_2+%5Ctanh%28%5Ctext+W_1%5Ctext%7Bz%7D+%2B+%5Ctext+b_1%29+%2B+%5Ctext+b_2%29& alt=&\log p(\text{x}|\text{z}) &= &\sum_{i=1}^{D_\text x} x_i \log y_i + (1-x_i)\cdot \log (1-y_i)\\
\text{y}&=&\text{sigmoid}(\text W_2 \tanh(\text W_1\text{z} + \text b_1) + \text b_2)& eeimg=&1&&&br&&p&若样本为实值数据，则&/p&&img src=&/equation?tex=%5Cmu%27+%26%3D+%26%5Ctext%7BW%7D_4%5Ctext%7Bh%7D%27%2B%5Ctext%7Bb%7D_4+%5C%5C%0A%5Csigma%27+%26%3D%26+%5Ctext+W_5%5Ctext%7Bh%7D%27+%2B+%5Ctext%7Bb%7D_5%5C%5C%0A%5Ctext%7Bh%7D%27+%26%3D%26+%5Ctanh%28%5Ctext+W_3+%5Ctext%7Bz%7D+%2B+%5Ctext+b_3%29& alt=&\mu' &= &\text{W}_4\text{h}'+\text{b}_4 \\
\sigma' &=& \text W_5\text{h}' + \text{b}_5\\
\text{h}' &=& \tanh(\text W_3 \text{z} + \text b_3)& eeimg=&1&&&br&&p&对&img src=&/equation?tex=q_%7B%5Cphi%7D%28%5Ctext%7Bz%7D%7C%5Ctext%7Bx%7D%29& alt=&q_{\phi}(\text{z}|\text{x})& eeimg=&1&&，参数为&img src=&/equation?tex=%5Cphi%3D%28%5Cmu%2C+%5Csigma%29& alt=&\phi=(\mu, \sigma)& eeimg=&1&&，&/p&&img src=&/equation?tex=%5Cmu+%26%3D+%26%5Ctext%7BW%7D_7%5Ctext%7Bh%7D%2B%5Ctext%7Bb%7D_7+%5C%5C%0A%5Csigma+%26%3D%26+%5Ctext+W_8%5Ctext%7Bh%7D+%2B+%5Ctext%7Bb%7D_8%5C%5C%0A%5Ctext%7Bh%7D+%26%3D%26+%5Ctanh%28%5Ctext+W_6+%5Ctext%7Bx%7D+%2B+%5Ctext+b_6%29& alt=&\mu &= &\text{W}_7\text{h}+\text{b}_7 \\
\sigma &=& \text W_8\text{h} + \text{b}_8\\
\text{h} &=& \tanh(\text W_6 \text{x} + \text b_6)& eeimg=&1&&&br&&p&根据以上假设的分布，不难计算&/p&&img src=&/equation?tex=%5Cmathcal%7BL%7D%28%5Ctheta%2C%5Cphi%3B%5Ctext%7Bx%7D%5E%7B%28i%29%7D%29+%5Csimeq+%5Cfrac%7B1%7D%7B2%7D%5Csum_%7Bj%3D1%7D%5E%7BD_%5Ctext+z%7D%281+%2B+%5Clog+%28%28%5Csigma_j%5E%7B%28i%29%7D%29%5E2%29+-+%28%5Cmu_j%5E%7B%28i%29%7D%29%5E2+-+%28%5Csigma_j%5E%7B%28i%29%7D%29%5E2%29+%2B+%5Cfrac%7B1%7D%7BL%7D%5Csum_%7Bl%3D1%7D%5EL+%5Clog+p_%7B%5Ctheta%7D%28%5Ctext%7Bx%7D%5E%7B%28i%29%7D+%7C+%5Ctext%7Bz%7D%5E%7B%28i%2Cl%29%7D%29& alt=&\mathcal{L}(\theta,\\text{x}^{(i)}) \simeq \frac{1}{2}\sum_{j=1}^{D_\text z}(1 + \log ((\sigma_j^{(i)})^2) - (\mu_j^{(i)})^2 - (\sigma_j^{(i)})^2) + \frac{1}{L}\sum_{l=1}^L \log p_{\theta}(\text{x}^{(i)} | \text{z}^{(i,l)})& eeimg=&1&&&br&&p&其中，&img src=&/equation?tex=%5Ctext%7Bz%7D%5E%7B%28i%2Cl%29%7D%3D%5Cmu%5E%7B%28i%29%7D%2B%5Csigma%5E%7B%28i%29%7D+%5Codot%5Cepsilon%5E%7B%28l%29%7D%2C+%5Cquad+%5Cepsilon%5E%7B%28l%29%7D+%5Csim+p%28%5Cepsilon%29& alt=&\text{z}^{(i,l)}=\mu^{(i)}+\sigma^{(i)} \odot\epsilon^{(l)}, \quad \epsilon^{(l)} \sim p(\epsilon)& eeimg=&1&&。&/p&&p&最后，我们从auto-encoder的角度来理解VAE，下图给出了VAE训练的时候的网络结构（以实值样本为例，&b&注意下面两个图中的&img src=&/equation?tex=%5Cepsilon& alt=&\epsilon& eeimg=&1&&节点并不是bias！而是噪声变量，它的维数与&/b&&img src=&/equation?tex=%5Ctext+z& alt=&\text z& eeimg=&1&&&b&相同。&/b&）：&/p&&img src=&/v2-852e3ffd0c482de49d69f87b2a4b4d4d_b.jpg& data-rawwidth=&1684& data-rawheight=&999& class=&origin_image zh-lightbox-thumb& width=&1684& data-original=&/v2-852e3ffd0c482de49d69f87b2a4b4d4d_r.jpg&&&p&训练好了以后，生成样本采用下面的网络结构：&/p&&img src=&/v2-29f2dfa2da3a5f6b426e3_b.jpg& data-rawwidth=&1026& data-rawheight=&947& class=&origin_image zh-lightbox-thumb& width=&1026& data-original=&/v2-29f2dfa2da3a5f6b426e3_r.jpg&&&h2&VAE实验效果&/h2&&p&作者在Frey face数据集和MNIST数据集上进行实验，实验得到的数据流形分布如下图所示，可以看出，VAE能够捕捉到图像的结构变化（倾斜角度、圈的位置、形状变化、表情变化等）。这也是VAE的一个好处，它有显式的分布，能够容易地可视化图像的分布。GANs虽然不具有显式的图像分布，但是可以通过对隐变量的插值变化来可视化图像的分布（参见&a href=&/?target=https%3A//mp./s%3F__biz%3DMzIzOTY2NTQ5Mg%3D%3D%26mid%3D%26idx%3D1%26sn%3Da5bbfbeeb17b46%26chksm%3De927ea3dde5abbdfe53b0bc24aac5c0e2dec3d737e2c%23rd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&DCGAN&i class=&icon-external&&&/i&&/a&）。&/p&&p&&img src=&/v2-a108d8e61ccf983d9ac6c_b.jpg& data-rawwidth=&848& data-rawheight=&545& class=&origin_image zh-lightbox-thumb& width=&848& data-original=&/v2-a108d8e61ccf983d9ac6c_r.jpg&&VAE在不同维数的隐变量空间（&img src=&/equation?tex=%5Ctext+z& alt=&\text z& eeimg=&1&&）下生成手写数字的效果如下：&/p&&img src=&/v2-89c819c3fadf355bd4473f_b.jpg& data-rawwidth=&848& data-rawheight=&254& class=&origin_image zh-lightbox-thumb& width=&848& data-original=&/v2-89c819c3fadf355bd4473f_r.jpg&&&p&可以看出，采用MLP也能产生效果还不错的数字，有趣的是，隐变量维数较低时，生成的图像笔画清晰，但是带有较大的噪声（模糊）；隐变量维数高时，生成的数字部分笔画不清晰，但噪声小。&/p&&h2&代码&/h2&&p&VAEs网上的代码很多，下面给了三个基于原始论文[1]的代码，作者修改了激活函数和优化方法以取得更好的收敛性。第四个代码是caffe版本，基于文献[2]。&/p&&p&Tensorflow版本：&a href=&/?target=https%3A///y0ast/VAE-TensorFlow& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&y0ast/VAE-TensorFlow: Implementation of a Variational Auto-Encoder in TensorFlow&i class=&icon-external&&&/i&&/a&&/p&&p&Torch版本：&a href=&/?target=https%3A///y0ast/VAE-Torch& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&y0ast/VAE-Torch: Implementation of Variational Auto-Encoder in Torch7&i class=&icon-external&&&/i&&/a&&/p&&p&Theano版本：&a href=&/?target=https%3A///y0ast/Variational-Autoencoder& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&y0ast/Variational-Autoencoder: Implementation of a variational Auto-encoder&i class=&icon-external&&&/i&&/a&&/p&&p&Caffe版本：&a href=&/?target=https%3A///cdoersch/vae_tutorial& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tutorial on Variational Autoencoders&i class=&icon-external&&&/i&&/a&&/p&&br&&h2&参考文献&/h2&&p&[1]. Kingma D P, Welling M. Auto-Encoding Variational Bayes[J]. stat, : 10.&/p&&p&[2]. DOERSCH C. Tutorial on Variational Autoencoders[J]. stat, : 13.&/p&&p&[3]. Blei, David M., &Variational Inference.& Lecture from Princeton,
&a href=&/?target=https%3A//www.cs.princeton.edu/courses/archive/fall11/cos597C/lectures/variational-inference-i.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&cs.princeton.edu/course&/span&&span class=&invisible&&s/archive/fall11/cos597C/lectures/variational-inference-i.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&.&/p&
知乎专栏处女作，写得不好请轻拍。在此之前已在微信公众号写了一些文章，立个flag，后续会逐步转过来。这个专栏将记录我看过的一些paper，也将监督我多看paper少水手机。好了，进入正题。VAEs简介变分自编码器（Variational auto-encoder，VAE）是一类重要…
谢邀&br&&br&详细的公式什么的，网络上搜索kernel function, kernel methods 有很多，我就不仔细说了，简单地说说背后的intuition。&br&&br&intuition也很简单，比如我们有一个一维的数据分布是如下图的样子，你想把它用一个直线来分开，你发现是不可能的，因为他们是间隔的。所以不论你画在哪，比如绿色竖线，都不可能把两个类分开。&br&&br&&img src=&/461e5a408c74cd85573abb750f5491fb_b.jpg& data-rawwidth=&614& data-rawheight=&460& class=&origin_image zh-lightbox-thumb& width=&614& data-original=&/461e5a408c74cd85573abb750f5491fb_r.jpg&&&br&但是我们使用一个简单的升维的方法，把原来一维的空间投射到二维中，x-&(x, x^2)。比如:&br&0-&(0,0) &br&1-&(1,1)&br&2-&(2,4)&br&&br&这时候就线性可分了&br&&br&&img src=&/d57de247daef_b.jpg& data-rawwidth=&615& data-rawheight=&463& class=&origin_image zh-lightbox-thumb& width=&615& data-original=&/d57de247daef_r.jpg&&&br&再举个例子，在一个二维平面里面，这样的情况是不可能只用一个平面来分类的，但是只要把它投射到三维的球体上，就可能很轻易地分类。&br&&br&&img src=&/cb84e067c0eb_b.jpg& data-rawwidth=&564& data-rawheight=&330& class=&origin_image zh-lightbox-thumb& width=&564& data-original=&/cb84e067c0eb_r.jpg&&&br&理论上，由于train set是有限的，当你把data投射到无限维度的空间上是一定可以在train set上完美分类的，至于在test set上当然就呵呵了。&br&&br&记得要选取合适（试试各种）kernel function来“避免过拟合”。
谢邀 详细的公式什么的，网络上搜索kernel function, kernel methods 有很多，我就不仔细说了，简单地说说背后的intuition。 intuition也很简单，比如我们有一个一维的数据分布是如下图的样子，你想把它用一个直线来分开，你发现是不可能的，因为他们是间隔…
&img src=&/v2-45ff4fafe1be7f35136ccfe0e94cb18a_b.jpg& data-rawwidth=&640& data-rawheight=&360& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-45ff4fafe1be7f35136ccfe0e94cb18a_r.jpg&&&p&不知道大家有没有过这样的经历：&/p&&blockquote&想要监控某个网页的变化，但没有实时的通知方式，邮件太重、短信又不好搞…&br&电脑上跑着代码，人走开了，在外面特别挂念，想知道那代码跑得怎样了&/blockquote&&p&在过去，这样的问题时常困扰我。&br&&/p&&p&&b&不过现在，我可以把警告/日志发到自己的微信上。&/b&&br&&/p&&div class=&highlight&&&pre&&code class=&language-python&&&span&&/span&&span class=&kn&&from&/span& &span class=&nn&&wxpy&/span& &span class=&kn&&import&/span& &span class=&n&&get_wechat_logger&/span&
&span class=&c1&&# 获得 Logger&/span&
&span class=&n&&logger&/span& &span class=&o&&=&/span& &span class=&n&&get_wechat_logger&/span&&span class=&p&&()&/span&
&span class=&c1&&# 发送警告&/span&
&span class=&n&&logger&/span&&span class=&o&&.&/span&&span class=&n&&warning&/span&&span class=&p&&(&/span&&span class=&s1&&'这是一条 WARNING 等级的日志！'&/span&&span class=&p&&)&/span&
&span class=&c1&&# 捕获可能发生的异常，并发送&/span&
&span class=&k&&try&/span&&span class=&p&&:&/span&
&span class=&mi&&1&/span& &span class=&o&&/&/span& &span class=&mi&&0&/span&
&span class=&k&&except&/span&&span class=&p&&:&/span&
&span class=&n&&logger&/span&&span class=&o&&.&/span&&span class=&n&&exception&/span&&span class=&p&&(&/span&&span class=&s1&&'又出错啦！'&/span&&span class=&p&&)&/span&
&/code&&/pre&&/div&&img src=&/v2-ab78ef8bbc0f07bda8310_b.png& data-rawwidth=&500& data-rawheight=&454& class=&origin_image zh-lightbox-thumb& width=&500& data-original=&/v2-ab78ef8bbc0f07bda8310_r.png&&&p&&b&不管在哪，我都可以第一时间收到程序的重要信息。&/b&&/p&&h2&wxpy 是什么&/h2&&p&示例代码中所使用的 wxpy 模块，是一款开源的 &b&Python 微信个人号 API/机器人&/b&。&/p&&br&&p&&b&有微信就能用，无需申请公众号。&/b&&/p&&p&除了上面的 logging 功能外，wxpy 还集成了一些特色功能，比如：&b&自动聊天&/b&(利用图灵机器人)、统计好友或群成员的&b&性别地区分布&/b&、找出&b&共同好友&/b&等等。&/p&&p&当然，还覆盖了微信个人号的大部分基本功能，具体可以查看下方的 GitHub 主页。&/p&&br&&p&wxpy 在设计上非常注重“&b&接口的使用体验&/b&”，并配备了完善的&b&&a href=&/?target=http%3A//wxpy.readthedocs.io& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&说明文档&i class=&icon-external&&&/i&&/a&&/b&。&/p&&h2&项目主页&/h2&&p&&a href=&/?target=https%3A///youfou/wxpy& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&/youfou/wxpy&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&一起挖掘更多玩法吧 :D&/p&
不知道大家有没有过这样的经历：想要监控某个网页的变化，但没有实时的通知方式，邮件太重、短信又不好搞… 电脑上跑着代码，人走开了，在外面特别挂念，想知道那代码跑得怎样了在过去，这样的问题时常困扰我。 不过现在，我可以把警告/日志发到自己的微信…
&p&四川藏匿着上帝的花园，九寨沟、黄龙、郎木寺等已经名声显赫&/p&&p&而那些鲜为人知的偏远之地，却更值得我们去探访&/p&&p&在川西的深处，一处未被开发的高原水墨画走入我们的视线&/p&&p&新龙绽放在高原的田园画卷&/p&&img src=&/v2-e339b370efff_b.png& data-rawwidth=&694& data-rawheight=&432& class=&origin_image zh-lightbox-thumb& width=&694& data-original=&/v2-e339b370efff_r.png&&&p&新龙县县境以北甘(孜)新(龙)公路经100公里与国道317线相连&/p&&p&县境以南理(塘)新(龙)路经186公里，雅(江)新(龙)路116公里与国道318线相连&/p&&p&虽然四通发达，但知道的人不多，算得上是川西的一处密境之地&/p&&img src=&/v2-c6a0ba53863aef68ab7d3b282a91d2ca_b.jpg& data-rawwidth=&600& data-rawheight=&397& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/v2-c6a0ba53863aef68ab7d3b282a91d2ca_r.jpg&&&p&新龙县境内有甘孜藏区齐全的宗教教派与寺庙&/p&&p&有雅砻江上仅剩的唯一一座藏式伸臂桥&/p&&p&有雅砻江大峡谷、皮察沟、拉日马、卡瓦洛日雪山、措卡湖等景点&/p&&p&新龙，你未曾去到的地方&/p&&p&&img src=&/v2-078a696f3ef4a85a7bbe24_b.png& data-rawwidth=&696& data-rawheight=&502& class=&origin_image zh-lightbox-thumb& width=&696& data-original=&/v2-078a696f3ef4a85a7bbe24_r.png&&&br&雅砻江大峡谷风景区&br&家喻户晓的雅砻江是新龙县的主要河流，其流经地形成有名的雅砻江大峡谷。此江发源于青海省与四川交界的玉树州境内，流经石渠、甘孜、新龙，南出雅江县，在新龙境内流长175公里，最后汇合于金沙江进入长江。年平均水量25.57亿立方米。 &/p&&img src=&/v2-72f809ef77a857dd89a2fc_b.jpg& data-rawwidth=&1024& data-rawheight=&768& class=&origin_image zh-lightbox-thumb& width=&1024& data-original=&/v2-72f809ef77a857dd89a2fc_r.jpg&&&p&线路推荐：&/p&&p&成都-&a href=&///?target=http%3A///view/2166.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&康定&i class=&icon-external&&&/i&&/a&-&a href=&///?target=http%3A///view/399469.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&雅江&i class=&icon-external&&&/i&&/a&-雅砻江大峡谷&/p&&img src=&/v2-eecd7f9d026e8cc42e5fa4_b.jpg& data-rawwidth=&750& data-rawheight=&499& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/v2-eecd7f9d026e8cc42e5fa4_r.jpg&&&p&皮察沟&/p&&p&皮察景区位于&a href=&///?target=http%3A///view/662669.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&新龙县&i class=&icon-external&&&/i&&/a&城西北方向22公里的皮察沟，是一处集探险、风光游为一体的处女地。&/p&&p&主要景点有七彩林、皮察峰林，沃普寺，嘎拉神山，格萨尔王传说遗迹、&a href=&///?target=http%3A///view/1390009.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&藏寨&i class=&icon-external&&&/i&&/a&、草原、温泉等风景&/p&&p&米亚罗人太多了，快去这里耍&/p&&img src=&/v2-f529fc6b2db1ecaaffc1a84_b.jpg& data-rawwidth=&600& data-rawheight=&399& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/v2-f529fc6b2db1ecaaffc1a84_r.jpg&&&p&线路推荐：&/p&&p&1.成都-&a href=&///?target=http%3A///view/2166.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&康定&i class=&icon-external&&&/i&&/a&-&a href=&///?target=http%3A///view/399469.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&雅江&i class=&icon-external&&&/i&&/a&-新龙县城-皮察景区&/p&&p&2.成都-丹巴-道孚-甘孜-&a href=&///?target=http%3A///view/894952.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&雅砻江大峡谷&i class=&icon-external&&&/i&&/a&-皮察景区&/p&&p&3.成都-&a href=&///?target=http%3A///view/2166.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&康定&i class=&icon-external&&&/i&&/a&-&a href=&///?target=http%3A///view/399469.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&雅江&i class=&icon-external&&&/i&&/a&-皮察景区&/p&&img src=&/v2-54a23dc9203ebd1d7ee1be61fdd9f5fb_b.jpg& data-rawwidth=&600& data-rawheight=&382& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/v2-54a23dc9203ebd1d7ee1be61fdd9f5fb_r.jpg&&&br&&p&拉日马&/p&&p&拉日马景区位于新龙县城以东64公里拉日马乡境内，意为“神仙居住的地方”&/p&&p&该景区的特点是集宽阔的草原、丰茂的水草、蜿蜒清澈的拉曲河，构成的一幅天然画卷。&/p&&p&散落在草原上星星点点的牛群、帐篷，给人一种回归之感。&/p&&p&草原上四处飘溢着花的芬芳和奶香，在醉人的季节里，定会使人留连忘返。&/p&&img src=&/v2-4fadcec869a5_b.jpg& data-rawwidth=&1500& data-rawheight=&1000& class=&origin_image zh-lightbox-thumb& width=&1500& data-original=&/v2-4fadcec869a5_r.jpg&&&p&线路推荐：&/p&&p&1、 成都-康定-甘孜-新龙-拉日马景区&/p&&p&2、
成都-&a href=&///?target=http%3A///view/2166.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&康定&i class=&icon-external&&&/i&&/a&-&a href=&///?target=http%3A///view/399469.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&雅江&i class=&icon-external&&&/i&&/a&-皮察景区-拉日马景区&/p&&p&3、 成都-康定-新都桥-道孚-拉日马景区&/p&&img src=&/v2-fe29df49ad5eaf8d4d543c_b.jpg& data-rawwidth=&579& data-rawheight=&362& class=&origin_image zh-lightbox-thumb& width=&579& data-original=&/v2-fe29df49ad5eaf8d4d543c_r.jpg&&&p&卡瓦洛日&/p&&p&卡瓦洛日景区位于大盖乡境内，距离&a href=&///?target=http%3A///view/399470.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&新龙&i class=&icon-external&&&/i&&/a&县城90公里，是观光、探险游的好去处。&/p&&p&冰川晶莹，&a href=&///?target=http%3A///view/282965.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&角峰&i class=&icon-external&&&/i&&/a&逶迤起伏，气势磅礴，雄伟壮丽，是藏区著名的&a href=&///?target=http%3A///view/53850.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&神山&i class=&icon-external&&&/i&&/a&，深受苯波教和藏传佛教信徒崇拜。&/p&&img src=&/v2-6f7ebef3eae6_b.jpg& data-rawwidth=&750& data-rawheight=&277& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/v2-6f7ebef3eae6_r.jpg&&&p&相传，卡瓦洛日山神是苯教十三大神中的财神雍宗道杰，为福佑&a href=&///?target=http%3A///view/399470.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&新龙&i class=&icon-external&&&/i&&/a&地方，特来此坐镇。&/p&&p&故卡瓦洛日山口，被称为“孜雍琼戈”，意味“财富之门”。据说朝拜此山后，会财运亨通、福乐绵绵。&/p&&p&线路推荐：&/p&&p&&a href=&///?target=http%3A///travel-scenic-spot/mafengwo/10035.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&成都&i class=&icon-external&&&/i&&/a&-&a href=&///?target=http%3A///travel-scenic-spot/mafengwo/10510.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&康定&i class=&icon-external&&&/i&&/a&- &a href=&///?target=http%3A///travel-scenic-spot/mafengwo/14727.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&新都桥&i class=&icon-external&&&/i&&/a&-&a href=&///?target=http%3A///travel-scenic-spot/mafengwo/62950.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&雅江&i class=&icon-external&&&/i&&/a&-新龙-卡瓦洛日&/p&&img src=&/v2-797c4fccdf7_b.jpg& data-rawwidth=&600& data-rawheight=&376& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/v2-797c4fccdf7_r.jpg&&&br&&p&措卡湖&/p&&p&措卡湖，位于四川省甘孜州新龙县麻日乡境内，距县城32公里，被誉为“人间仙境，九天瑶池”。措卡湖在当地称措卡海子，又称赞多措那玛，藏语意为乱石丛中的黑色海水，是一个淡水湖泊，湖面面积约3平方公里，意为“绿宝石”。&/p&&img src=&/v2-8feaf2d508bef_b.jpg& data-rawwidth=&700& data-rawheight=&474& class=&origin_image zh-lightbox-thumb& width=&700& data-original=&/v2-8feaf2d508bef_r.jpg&&&p&线路推荐：&/p&&p&成都-康定-甘孜-新龙-措卡湖&/p&&img src=&/v2-0fa80da8b12f3a238d8a8a71e75a908b_b.jpg& data-rawwidth=&680& data-rawheight=&510& class=&origin_image zh-lightbox-thumb& width=&680& data-original=&/v2-0fa80da8b12f3a238d8a8a71e75a908b_r.jpg&&&p&我经常出去旅游&/p&&p&有不懂的可以加我微信问我哈&/p&&p&&/p&
四川藏匿着上帝的花园，九寨沟、黄龙、郎木寺等已经名声显赫而那些鲜为人知的偏远之地，却更值得我们去探访在川西的深处，一处未被开发的高原水墨画走入我们的视线新龙绽放在高原的田园画卷新龙县县境以北甘(孜)新(龙)公路经100公里与国道317线相连县境以南…
&img src=&/f0bc9dcbf00_b.jpg& data-rawwidth=&640& data-rawheight=&480& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/f0bc9dcbf00_r.jpg&&&p&在开始之前，我一定要先安利一个网站……四川旅游局的官网……&br&&/p&&p&&a href=&/?target=http%3A///tmsc.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&四川旅游资讯&i class=&icon-external&&&/i&&/a&&br&&/p&&p&对奏是介个～上面的信息总体来说还是比较全面的，除了没有找到转山攻略，别的还是挺全面的，页面做的也还算不错，好评～&img src=&/a313d7b7fdd13a8d14500_b.png& data-rawwidth=&848& data-rawheight=&393& class=&origin_image zh-lightbox-thumb& width=&848& data-original=&/a313d7b7fdd13a8d14500_r.png&&&/p&&p&如果是想知道四川有什么好玩的，我想上面那个网站的信息恐怕会更全面。&/p&&p&但是……他们没有讲大雪山！&/p&&br&&p&太好了！因为我盛（强）情（迫）邀（威）请（胁）了我的一位好友来帮我写四川，而他只写了大雪山……你看，老天要我发大雪山给你们看，老天要你们看了文章以后都去看大雪山……&/p&&p&&b&（转载请务必先联系我，私自转载者必究，谢谢合作）&/b&&/p&&br&&br&&p&好友简介：&/p&&p&&i&此人是个奇葩，我们暂时叫他地怪吧，因为他说他现在还不想太红＝。＝&/i&&/p&&p&&i&此人自打毕业后就开始做旅行产品，至今已经有四年多了吧。他走过国内的大部分地方，翻烂了所有国内的旅行指南，对国内所有景点了如指掌，如数家珍，信手拈来，侃侃而谈的时候眼睛会闪闪发g i。他不仅了解哪些地方好玩，他也总是能讲出背后的故事；他不仅能讲出背后的故事，他还总有浪漫的点子。当然他对其他国家也是非常了解的，什么尼泊尔土耳其，现在据说在研究欧洲……&/i&&/p&&p&&i&他爱书，爱茶，爱藏佛，爱焚香，有时候觉得他早晚要遁入空门，有时候又觉得遁入空门后一定会是个酒肉和尚＝。＝嗯，黑得差不多了，我们可以开始了。&/i&&/p&&br&&br&&p&闺蜜逼我讲四川。于是我就想啦，这四川位于中国的正中心，拥有各种在中国能见到的景观，山、湖、草原、森林、佛教、道教、古镇、美食……简直可以说是一个小中国大浓缩啊！要讲讲什么好呢？那就讲讲我所知道的四川……&br&盘子铺的太大容易收不了尾，每次把地图摊开来研究研究，总是会不知觉地从州看到县，从县挖到村，如此下来一片简述和概论写到后面就没了力气。所以想了想，我决定先讲四川的”山“&br&&br&山——山就在那里；曾经有小伙伴从成都坐飞机去往欧洲，飞出没多久，四姑娘山，贡嘎就出现在了眼前，让他着实惊呆了好一阵：四川还有这么美丽的山！是的，我说的都是“大o雪o山”，而不只是峨眉山，青城山这样的名声在外的大山。众所周知，川西川西北地区的甘孜、阿坝都是藏族自治区，这里藏着很多让人尖叫的雪山！让我们来一一细数：&br&&br&&b&格聂神山&/b&&br&笔者是11年去转的格聂神山，说是转山，因为格聂是胜乐金刚的道场，从&b&乃干多&/b&一路进去，顺着&b&冷古沟&/b&前行，是藏族心目中的一条重要的转经道，一路上有巨多神迹，从冷古寺进入的这一条路相当于是顺着胜乐金刚的脚底板进入，最后一直到头部转完一圈后出来，这样完成一圈可消累世恶业。转山只是一个过程，在秋初季节前往格聂简直就是美翻天，走在冷古沟中，左侧是格聂神山，右手是&b&肖扎雪山&/b&，中间谷地草坝子上一条河流弯弯流淌，仿佛是梦里的景色一样。很多去过格聂的人都说，去了格聂何必再往稻城亚丁……从&b&理塘&/b&前往格聂的路比去日瓦要近不少，景色却分毫不差，而且不要门票，这话说的是真理。&/p&&p&&img src=&/6a12a9d0df56f7f3b9dc3b0cc6e2d6c3_b.jpg& data-rawwidth=&580& data-rawheight=&240& class=&origin_image zh-lightbox-thumb& width=&580& data-original=&/6a12a9d0df56f7f3b9dc3b0cc6e2d6c3_r.jpg&&&img src=&/bedb5ecb69bc_b.jpg& data-rawwidth=&800& data-rawheight=&530& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&/bedb5ecb69bc_r.jpg&&格聂转山，环境原始条件辛苦，但是转的就是那一份纯粹和神圣。（图片来自稻草人旅行）&/p&&p&&br&&b&稻城亚丁（转山）&/b&&br&稻城亚丁三神山的威名在国内可能已经无人撼动了！这三座名为夏诺多吉、央迈勇和仙乃日的神山，分别是金刚手菩萨、文殊菩萨和观世音菩萨的化身。所以你就可以知道，这片地区在信众心目中的崇高地位了。笔者在09年的时候，去转了一圈&b&仙乃日神山&/b&，那时候才刚刚有电瓶车送进洛绒牛场，当然我们一行都是背着大包走进去的，当天一路紧赶慢赶跑到牛奶海想扎营，马夫说管理人员不允许在这一片区域扎营，愣是将我们向上推进到海拔4700米的垭口下，一行人晚上断水，忍受着高反强撑了一夜，第二天一早抓紧过了垭口不表。很多人去稻城亚丁，就做个电瓶车去个洛绒牛场就结束了，拼命一点的可能会徒步+骑马去牛奶海和五色海，但很少（真正走户外的）有人知道，在仙乃日神山的背面景色是完全另外一种别样的风貌，那里有一整片原始森林——&b&卡斯地狱谷&/b&，从山上看下去，有一种不在这个星球上的错觉。我们和当地藏民一起转完了一圈仙乃日，用了2整天的时间，最后出来的时候天空放晴，美得不行。&br&&/p&&p&&img src=&/3e65e92d6c8a62eda865dd8_b.png& data-rawwidth=&550& data-rawheight=&364& class=&origin_image zh-lightbox-thumb& width=&550& data-original=&/3e65e92d6c8a62eda865dd8_r.png&&&img src=&/8cc1bdd5c8ab563a764a22_b.jpg& data-rawwidth=&466& data-rawheight=&700& class=&origin_image zh-lightbox-thumb& width=&466& data-original=&/8cc1bdd5c8ab563a764a22_r.jpg&&在稻城亚丁转山，又是另一番风情（图片来自稻草人旅行）&br&&br&&br&&b&贡嘎&/b&&br&蜀山之王，很多人都知道，但真正见到他的英子的时候还是有一种深深地不自觉的感受，觉得到自身的渺小。看贡嘎一般有好几种不同的方式，最最普通的，大概会是从贡嘎山东面的&b&海螺沟冰川国家公园&/b&进入，一路索道上去，前往冰川脚下（多说一句，这个还是传说中的亚洲最低海拔冰川）。在冬天的时候，还可以直接租到山上的小木屋，泡一个雪山脚下的温泉，这个感觉还是蛮酷的。然而在海螺沟看到的贡嘎，根本不算贡嘎，如果和下面两个地方比起来的话，第一个是&b&牛背山&/b&：关于牛背山是如何火起来的，可以参考这篇：&a href=&/question/& class=&internal&&牛背山是如何被人所熟知的？ - 摄影&/a&&br&这座神秘的山顶拥有绝佳的贡嘎山脉全貌，尤其适合观看日出时分的日照金山。另一个是&b&子梅垭口&/b&：位于贡嘎山的西侧，这里是出发前往贡嘎山登山大本营的必经之路。可以和蜀山之王亲近一下。&br&&br&&img src=&/f0bc9dcbf00_b.jpg& data-rawwidth=&640& data-rawheight=&480& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/f0bc9dcbf00_r.jpg&&&/p&&p&&img src=&/2c785f120b93b7c7c49cc442e256bafa_b.jpg& data-rawwidth=&800& data-rawheight=&531& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&/2c785f120b93b7c7c49cc442e256bafa_r.jpg&&蜀山之王，贡嘎（图片来自稻草人旅行）&br&&br&&br&&b&四姑娘山&/b&&br&顾名思义，四姑娘山一共有四座山峰，大峰、二姑娘峰、三姑娘峰和幺妹。四姑娘位于小金，最高的是主峰幺妹。大峰是最容易攀登的，有一定高海拔经验以及具有足够的毅力是可以上去的，二姑娘和三姑娘则对专业要求比较高，幺妹是攀登难度最大的。一般说来，游览四姑娘可以从南部的&b&长坪沟、双桥沟和海子沟&/b&进入。长坪沟是其中开发最完善的，双桥沟的景色最丰富多元，也最大气，海子沟有大片的草坝子和海子，保留的原始味道最浓郁；四姑娘北部的&b&毕棚沟&/b&则是秋天观赏四姑娘山的另外一个重要入口。四姑娘山周围山势地貌复杂，要看到一个全貌并不容易，最佳的观景点位于&b&猫鼻梁山&/b&，开车就可以到达。&br&&br&&img src=&/a9ec4ad1acf740c11e56ac0_b.jpg& data-rawwidth=&580& data-rawheight=&240& class=&origin_image zh-lightbox-thumb& width=&580& data-original=&/a9ec4ad1acf740c11e56ac0_r.jpg&&四姑娘山（图片来自稻草人旅行）&br&&br&&br&据说他还想讲这些：&br&藏传佛教：&br&√ 德格县印经院&br&√ 色达五明佛学院&br&&br&古镇：&br&√ 阆中&br&√ 郫县&br&√ 上里&br&√ 李庄&br&……&br&&br&其他：&br&嘉阳小火车&br&若尔盖大草原&br&泸沽湖&br&木里&br&……&br&&br&&br&（这又是一个大坑。。。你们不要轻易跳进来＝。＝）&/p&
在开始之前，我一定要先安利一个网站……四川旅游局的官网……
对奏是介个～上面的信息总体来说还是比较全面的，除了没有找到转山攻略，别的还是挺全面的，页面做的也还算不错，好评～如果是想知道四川有什么好玩的，我想上面那个网站的信息恐…
&a href=&/wonderland& class=&internal&&最美的国度 - 知乎专栏&/a&
欢迎大家关注哟～&br&我只想说国内冷门却超级超级超级超级超级精彩的目的地太多了。。&br&原因之一当然是大部分国内的游客都喜欢”打卡“式旅行，比如。。。“云南我去过了，所以我就不去了”。。。在这样的想法下，一般人都是去昆明大理丽江的，所以当你发现云南——&br&往西会有&b&福贡&/b&——傈僳族和他们的同心酒， &b&秋那桶&/b&——怒族、霞拉， &b&丙中洛&/b&——众神之地、怒江大拐弯、世外桃源 ，&b&和顺&/b&——边陲小镇、侨乡，田园风光。。整个滇西居住着傈僳族拉祜族藏族白族怒族纳西族等等能歌善舞还能喝的少数民族，可有意思了！！！&br&&img src=&/9d9a8a1d711f7a6d46f14ba7a75f9671_b.jpg& data-rawwidth=&711& data-rawheight=&533& class=&origin_image zh-lightbox-thumb& width=&711& data-original=&/9d9a8a1d711f7a6d46f14ba7a75f9671_r.jpg&&腾冲和顺&br&&br&往南你们可能熟悉的是傣族和西双版纳，但是到佤族的地盘，是另一番古老神秘的风景，有堆了上千牛头祭祀的&b&龙摩爷圣地&/b&，有古老村寨&b&翁丁&/b&，先有阿瓦山再有佤族人的&b&阿瓦山&/b&，当然还有傣族各种 原始的村寨们；&br&&img src=&/692b01d6bbca5c4bd8a8ba4_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/692b01d6bbca5c4bd8a8ba4_r.jpg&&龙摩爷圣地&br&&img src=&/cf0b6a40acec80a6ee5d6_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/cf0b6a40acec80a6ee5d6_r.jpg&&翁丁&br&&br&稍微往北一点（其实还是在云南的南部），有清朝开始修建的滇越铁路米轨保留地&b&蒙自&/b&，有《舌尖》红了的产小豆腐的&b&建水&/b&；&br&&img src=&/1d537eaa25cf0_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/1d537eaa25cf0_r.jpg&&蒙自的车站，法式的&br&&img src=&/143ebf4cceb9d94acf944_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/143ebf4cceb9d94acf944_r.jpg&&跟建水的老奶奶做豆腐&br&&br&往东一些，&b&罗平&/b&的油菜花每年都开，像《桃花源》一样坐船穿越洞豁然开朗的&b&坝美&/b&，因为《爸爸去哪儿》红了的&b&普者黑&/b&……&br&&img src=&/52c6656d9fabe359438e_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/52c6656d9fabe359438e_r.jpg&&坝美&br&&br&云南滇西北的丽江香格里拉那一带可能大家比较熟悉，但是，茶马古道上的&b&沙溪&/b&呢？&b&千湖山&/b&呢？&br&还有昆明，昆明真心是个美到不行的城市，昆明旁边有个亚洲最大的鲜花交易市场，叫做&b&斗南花市&/b&你们造吗？&br&&img src=&/5766ab46fbf_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/5766ab46fbf_r.jpg&&这里的花都是论！斤！卖！&br&&br&&br&&br&原因之二是，对风景的需求在人文之上很多，虽然事实上，人文的东西更有味道。&br&比如青海，你知道青海湖，但是青海还有超美的&b&茶卡盐湖&/b&，还有热贡艺术的发源地&b&同仁&/b&，还有我壮阔的大&b&祁连山&/b&；&br&&img src=&/1ccf8bfe_b.jpg& data-rawwidth=&750& data-rawheight=&500& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/1ccf8bfe_r.jpg&&茶卡盐湖&br&&img src=&/3f0f5ba11d_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/3f0f5ba11d_r.jpg&&我大祁连啊。。。我不是西北人，但是这么说才能体现出祁连的大气壮美。。。真的超级大气！&br&听着周云蓬的《九月》看着祁连真是太爽了。。&br&&br&比如贵州，黄果树都知道，但是其实贵州漂亮得不得了啊！喀斯特地貌随便拍拍就是风景啊！而且因为开发少，很多地方就是原来的样子，比如&b&云峰八寨军屯&/b&——这里的汉族后裔都保留着明朝遗风；&b&中洞苗寨&/b&——巨大洞穴里的原始生活；&b&滑石哨&/b&——《致青春》里说到的布依族村寨；&br&&img src=&/2df0fe95b_b.jpg& data-rawwidth=&749& data-rawheight=&500& class=&origin_image zh-lightbox-thumb& width=&749& data-original=&/2df0fe95b_r.jpg&&&img src=&/192ed899e103a49a32aa65ec_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/192ed899e103a49a32aa65ec_r.jpg&&你看他们的衣服上都有着明朝的风格&br&&img src=&/f419e59fc7d435a0eed7c1ef_b.jpg& data-rawwidth=&750& data-rawheight=&501& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&/f419e59fc7d435a0eed7c1ef_r