| 项目 | 内容 |
|---|---|
| 课程 | |
| 作业要求 | |
| 我的课程目标 | |
| 本次作业作用 | 熟悉mini_batch的实现、作用 |
Coding作业
随机选取数据
def GetBatchSamples(X,Y,batch_size,iteration): num_feature = X.shape[0] shuffled_sequence = np.arange(0, X.shape[1]) np.random.shuffle(shuffled_sequence) batch_x = X[0:num_feature, shuffled_sequence[0: batch_size]].reshape(num_feature, batch_size) batch_y = Y[0:num_feature, shuffled_sequence[0: batch_size]].reshape(num_feature, batch_size) return batch_x, batch_y
- 重写GetBatchSamples后直接运行即可，每次获取数据时随机产生一个乱序的index list，取前batch size个index作为构造X和Y时使用的索引
取5,10,15的batch_size运行
- max_epoch取50,50,100；eta均取0.1，max_iteration = (int)(num_example / batch_size)
- max_epoch * max_iteration > 800即可，结果比较0=30-800之间loss的变化情况
- GetSampleBatch使用随机获取
batch_size = 5，总收敛iteration = 48 * (200 / 5) + 37 = 1957
- loss下降曲线抖动明显，抖动源于样本个体的差异
batch_size = 10，总收敛iteration = 41 * 20 + 18 = 838
- 相比batch_size = 5抖动明显减弱很多，更大的batch平均后越能描述样本整体的性质
batch_size = 15，总收敛iteration = 685
- 抖动更不明显
结论：
- batch越大收敛iteration总数越少（但每个iteration的计算量越大），抖动越不明显。大batch更反应样本整体的特性，降低个体样本的噪声。
问题
问题2：为什么是椭圆不是圆？如何构造圆图？
- 上式为均方差损失函数，可以很显然，w和b对J贡献不相等，即J对w和b的偏导数不等的时候J的平面映射图会是椭圆。
- 要想构造平面映射图为圆的损失函数，显然w和b地位对等，可以对换，即可以写成
- 则此时J(w,b) 可写成J1(w)或J1(b)，为圆图
问题3：为什么中心是个椭圆区域而不是一个点？
- 理论上均方差损失函数是有唯一最小值点的，但因为计算机计算时的精度有限，同心椭圆中心处在最小精度以下的数域（都四舍五入为同一个值a）计算结果都只能用一样的损失值（a的损失值）表示，故中心是椭圆区域。
- 据此，计算精度越高，中心的椭圆区域越小。当计算精度无限高（计算时使用无限多位小数时），中心会是一个点。
- 当步长（学习率）无限小时，loss能收敛到中心点。