CNN

在图像平整化完全破坏了它的序列，需要一种方式在没有平整haul的情况下把图片馈送给网络，并且还要保留空间排列特征。

• 卷积层：在这一层中，我们定义一个权值矩阵，用来从图像中提取一定的特征。
• 池化层：有时图像太大，我们需要减少训练参数的数量，池化的目的是减少图像的空间大小。池化在每一个纵深维度上独自完成，因此图像的纵深保持不变，常见形式是最大池化。
• 输出层：卷积和池化只会提取体征，并减少原始图像带来的参数。输出层具有类似分类交叉熵的损失函数，用于计算预测误差。一旦前向传播完成，反向出阿伯就会开始更新权重和偏差以达到减少误差的目的。

下面是整个网络的样子

CNN 中的输出层是全连接层，其中来自其他层的输入在这里被平化和发送，以便将输出转换为网络所需的参数。随后输出层会产生输出，这些信息会互相比较排除错误。损失函数是全连接输出层计算的均方根损失。随后我们会计算梯度错误。错误会进行反向传播，以不断改进过滤器（权重）和偏差值。

一些深度学习的训练技巧

Batch Normalization

深度网络学习过程本质就是为了学习数据分布，网络在每次迭代都是去学习适应不同的分布，这样将会大大降低网络的训练速度。前面基层的输入数据的分布放生改变，那么后面基层就会被累计放大下去。BN就是为了解决训练过程中，中间层数据分布发生变化的情况。简单的做法就是在每一层输入的时候，插入一个归一化层，然后再进入网络的下一层。

E(x)指每一批训练数据神经元xk的平均值，分母是每一批数据神经元xk激活度的一个标准差。
可是随意变换网络的结构会造成其他层学习到的特征分布被搞坏了，
利用这个公式，可以学习到其他层的特征分布。

在CNN中，我们可以把每个特征图看成是一个特征处理，就是求取所有样本所对应的一个特征图的所有神经元的平均值、方差，然后对这个神经元做归一化。

Deep Residual Network

深度学习网络并非是deeper and better，残差网络是一个用来训练非常深的深度网络又十分简洁的框架。在神经网络中，需要反向传播来对网络的权重进行调整，但网络很深的时候就会造成每层损失函数求偏导连乘造成精度很小出现误差。

通过求偏导数能看到

这样就算深度很深，梯度也不会消失。换一个角度看，这也是一种把高阶特征和低阶特征再做融合，从而得到更好的效果。

Dropout

说实话，没有读论文，感觉这个东西非常玄学。
dropout并不依对代价函数的修改，而是在弃权中改变网络自身。Dropout会临时消除网络中一半的隐藏层神经元，同时让输入层和输出层的神经元保持不变。
在前向传播的时候，输入通过修改后的网络，然后反向传播结果。同样通过这个修改后的网络，选择一个新的随机的隐藏神经元的自己进行删除，估计对一个不同的小批量数据的梯度，然后更新权重和偏置。
弃掉不同的神经元集合时，像是在训练不同的网络，最后形成的实质就是由若干个子网络组成的新网络。

想一想自己的大学好像快过去了

从几个方面谈谈目前为止的大学吧

ACM & Algorithm

       好像也没有什么好说的，到最后还是没有拿到一块金牌，怎么看自己都挺失败的。不管怎么样，失败的话说了再多也不会影响之前的失败。那还是思考思考惨败的原因吧。什么人曾经说过失败的路有一千条，而成功的路只有一条。仔细想想每天的放松和借口，现在看来总是五味杂陈。谈到失败，我总是想用共性的原因来分析所有事，沉迷于其他不重要的事。反过来思考的时候总是能发现自己的错误，可当时为什么就对自己要求的很松呢。刷题的时候，可能刚刚A了一道，就去看看新闻啊，水水群，逛逛知乎。导致好像时间还都挺满，但实质性的事情却是没怎么做。这么沉重的话还是少说，毕竟ACM也带给我快乐，保持经常刷题也是曾经一个ACMer的基本吧。

出国 | 保研

       这两件事成了我先阶段很头疼的事情。虽说出国一直是我很想的事，但仔细想想，GPA只有3.4多，没有paper，Toefl 和 GRE都没有考出够的分数，那我又拿什么出国？不过现在看，如果搞定了英语成绩，能申请到一个正常大学的MS还是很有希望的。PHD应该是没啥可能吧。那出国的路线就变成一所还算正常的学校->MS期间刷题&找实习->运气好能找到一份工作,大概还是做一些码农的事情->过几年回国->？出国虽然充满了未知和挑战，同样也充满了艰难的地方。虽然家里还是很愿意提供我出国的花销，但对我这有的工薪家庭来说无疑不是一笔小数目。这不能不被考虑。从一些学长和网上了解到，如果能读个PHD可能会有更大的作为吧。有个老师跟我说过，你最好想清楚自己想要什么，有些人不知道自己该干什么就一直读到博士也不知道适不适合。如果不出国的话，就先在本校读个MS，毕业去个名校读PHD。不过日常的学习英语也是必要的，准备最近找老司机们谈一下，做个最终决定。

Intern

       来讯飞实习已经一周了，除了读代码之外就是补习机器学习深度学习的一些知识和训练技巧吧。周围有不少学长，感觉大家都很和善，还算是一个不错的事情。不过，一直没有什么实质性的工作，还是搞的我有些不自在。至少有的时候连加班都不知道自己该干些什么，只能快点读完代码，然后赶紧投入到实质性的工作中去吧。其实选择了一个NLP相关的公司，就是为了能多学习一些AI相关的知识。在我看来，能作为一个软件工程师不是长久之计，最好还是能有一些自己比较擅长的事情。

Sports & Gym

       之前有过想自己做饭的想法，但每天都是有点懒。半年1600的健身房有些贵，但要是能有好身材&好体格还是值得的。这周研究一下伙食的事情，毕竟三分练，七分吃嘛= =

hello world~

It’s a try of Markdown

what is Markdown

很遗憾，我只是为了试一下Hexo了解了一下这个东西

• 还是？
• what？
• Okay

忽略这里，这是什么鬼啊

可以点这里

1
2
3
4
5
6

#include <bits/stdc++.h>
using namespace std;
int main(){
	cout<<"Winter is coming";
	return 0;
}

WTF?

不对，我好像还在实习呀= =

溜了溜了

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

Quick Start

Create a new post

1

$ hexo new "My New Post"

More info: Writing

Run server

1

$ hexo server

More info: Server

Generate static files

1

$ hexo generate

More info: Generating

Deploy to remote sites

1

$ hexo deploy

More info: Deployment