当执行训练后:
1 | ~/caffe-master/build/tools/caffe train \ |
训练过程会在终端打印，终端日志信息以glog的格式输出：这个格式包括当前时间，进程号，源码行号，代码行号，以及输出信息，这个信息用于观察网络当前执行到哪一步。来分析一下使用Linear Reggresion对mnist分类，这个例子虽小，但五脏俱全。在必要的地方用做了注释，如下：
1 | Reggresion/lr_solver.prototxt |
总结：
Memory required for data如何统计内存使用量的，看net.cpp139行：1 | // memory_used_ 保存当前net占用内存空间 |
问题：
.cu文件。肯定执行了CUDA文件，应该是没有记录。模型是caffe学习系统包含数据与模型两个核心组件之一。一个caffe模型含有三部分参数：
即权值，通过 初始化和反向传播得到更新。随着训练的结束，要学习的参数就此确定，也意味着确定了一个具体的模型。这个模型或者说是最终的学习参数会保存在.caffemodel文件中。我们可以直接使用这个模型，或者是在这个模型的基础上继续学习。
就是Net的蓝图，即如何构建一个具体的Net，是一种构建策略。比如当前卷积层的kernel数量，kernel大小，步长等参数，显然，结构参数是在训练网络前就确定了的。注意：同一个Net的训练结构和测试结构可能不同。结构参数由Net的蓝图文件.prototxt提供，读取这个文件，得到Net的结构细节，从而指导caffe构建制定Net。
控用于制训练过程的参数，如learning rate，迭代次数，CPU或GPU训练，等。其描述存在于一个.prototxt文件，一般使用solver.prototxt这个文件名。
先准备数据。在将原始数据（raw data）转换为LMDB格式之后，就可以由数据层（DataLayer）不断从LMDB（磁盘上）读取数据进入网络。
为了对caffe的pipline有个清晰的理解，在工作目录创建文件夹my_linearReggresion 存放关于这个网络的所有内容，将之前创建好的LMDB数据文件放入 my_linearReggresion。之后创建网络结构文件 mylr.prototxt 和训练超参数文件 lr_solver.prototxt。
此时的my_linearReggresion目录tree如下：
1 | . |
上述是以一个简单的logistic reggresion为例。其网络结构如下图（包含训练和测试两个结构，两者共同的层只需定义一遍，不同阶段的要分别定义）：
[插图结构图]
参照结构图，定义网络结构超参数文件和训练超参数文件。
mylr.prototxt先编辑网络结构超参数文件，就是编辑mylr.prototxt文件。如下：
1 | name: "lrNet" |
其中source提供LMDB数据的路径，提供绝对路径不用担心出错。
lr_solver.prototxt按照上述蓝图构建用于训练的网络和用于测试的网络。之后编辑训练超参数文件lr_solver.prototxt：
1 | # 结构文件的路径，告诉caffe，构建蓝图在哪 |
note: 想上添加type关键字，用来指定所使用的优化方法，如type: "Nesterov"，type: "AdaGrad"，type: "AdaDelta"等。默认使用SGD。
有了数据有了模型就可以训练了：
1 | CAFFE train \ |
其中CAFFE，表示caffe_master提前编译好的caffe工具，就像在caffe_master中的命令./build/tools/caffe。
总结，要想正确运行，必须保证所配置的路径是有效的：
build/tools/caffe命令的路径，lr_solver.prototxt，mylr.prototxt，caffe现有的Layer type：
1 | known types: AbsVal, Accuracy, ArgMax, BNLL, BatchNorm, |
当训练并测试完毕，会有模型文件和快照文件保存于当前目录：
1 | . |
问题：
这些关键字是在哪了与Layer的实现对应起来的呢？当将自己实现的Layer或其他组件键入到caffe源码中时，就需要在某处添加对应关键字。
从prototxt文件解析Net的结构，以 Lenet 为例：
1 |
|
返回这个 TEST Net 中的blob name：
1 | # layer names |
BLob对象存放每个Layer的输出和输入结果。每个Layer对输入Blob进行某种计算。layer name 和 blob names 不存在任何关系。所有的Layer和Blob用名字区分，
先看一个Net对象都有什么成员属性：
1 | protected： |
说明一下：
Net中由两类Blob，以param开头的是权值Blob；以blob开头的是数据Blob。前者决定了模型是什么样的，后者是每一个Layer的输入和输出（样本数据），是这个Net中被处理的数据。
下面这个函数什么意思：
1 | void* foo(void* a){ |
他表示foo接受任何类型的指针，并输出任何类型的指针。使用方式总结如下：
1 | float f = 5.5; |
1 | float x = 4; |
1 | void* vPtr = nullptr; |
1 | void* vPtr = nullptr; |
一个Layer对象以一个Blob为输入（bottom），另一个Blob为输出（top）。主要机选包括前向计算和后向计算：前向计算对输入blob进行处理，得到输出blob。后向计算对输出blob的diff部分做处理得到输入blob的diff。
注意了，caffe中的top 和bottom都是vector<shared_ptr<Blob<Dtype>>>，其元素为多个指向blob的指针。而并非值一个blob对象！
既然blobs_是训练参数，那么向该层输入的数据在哪？？？
下面内容位于Layer.hpp文件。
1 | class Layer { |
Layer.cpp文件内容：可见Layer的真正实现都在其子类中：src/caffe/layers/*.cpp。
1 |
|
其中：
1 | // Instantiate a class with float and double specifications. |
定义Blob类中每个成员函数，void Blob<Dtype>::Reshape(const vector<int>&)：
1 | template <typename Dtype> |
这个函数的功能，当新的reshape后所有维度元素个数N之和小于原来元素个数M，只取M的前N个元素；
当等于时，元素不变。当大于时，所有元素变为零。不过正常的使用是元素个数相同间的reshape。
有了上述的方法，下面的方法调用上面的方法：void Blob<Dtype>::ReshapeLike(const Blob<Dtype>&)void Blob<Dtype>::Reshape(int,int,int,int)：
读取Blob中已有的cpu_data
1 | template <typename Dtype> |
为Blob设置cpu_data
1 | template <typename Dtype> |
可写访问CPU_data
1 | template <typename Dtype> |
其他关于访问，设置cpu，gpu的 data和diff都类似，略：
1 | // const只读访问 |
共享BLob数据data：共享diff与下面代码一样。
1 | template <typename Dtype> |
执行Updata():
其中：caffe_axpy在src/caffe/util/math_functions.cpp中，caffe_gpu_axpy在src/caffe/util/math_functions.cu中。
这两个操作实际是：data_[i] = data_[i] - diff_[i], 其中i=0,1,2,3,4...
1 | template <typename Dtype> |
其他类似的函数结构相同，只是核心操作不同，略
1 | // 计算l1范数 元素和 |
共享数据很直接，略
1 | // 共享other这个Blob的data_和diff_ |
从其他blob拷贝数据到当前Blob：
1 | template <typename Dtype> |
反序列化数据，将磁盘数据读入protobuff：
1 | template <typename Dtype> |
将数据序列化（写入磁盘）：
1 | template <> |
结构：caffe命名空间中包含两个inline函数和类SyncedMemory的声明。
1 |
|
#define#undef#if#ifdef#ifndef#elif#else#endifdefined：与#if, #elif配合使用，判断某个宏是否被定义
宏USE_MKL的定义在文件include/caffe/util/mkl_alternate.hpp中。
宏CPU_ONLY的定义在文件``？？？？？
读Blob的头文件，注释每个方法的作用。
1 |
|
Blob类使用到syncedmem.hpp，其与Host和Device内存即内存同步相关操作。
先看读lob.hpp, 再读Blob.cpp。
若要调用caffe文件，可以使用g++命令，也可以使用cmake建立一个项目：
1 | . |
这个项目可以位于任何位置。接着编辑CMakeLists.tx，如下:
1 | cmake_minimum_required(VERSION 3.5) |
使用下面命令编译执行：
1 | $ rm -rf build/* |
在代码文件头部添加基本内容：
1 |
|
之后就可以在main函数中，进行探索测试了。
基本地，Blob在内存中是4为数组，维度从高到低为（num，channels，height，width）。并包含data（待学习参数）和diff（增量）。包含一些基本操作。
先在main.cpp外自定义了两个函数：向Blob中写入数据，从Blob读取数据：
1 | // 向Blob中 写入数据 |
Blob.hpp中声明了构造函数，其用法见下例：
如果没有特殊指明，以下代码均在main.cpp中。
1 | // 默认构造函数 |
如果只打印最后一次数的c：
1 | Size: 1 2 3 4 (24) |
从上可以明显看出，（num，channels，height，width）最右端变化最快，逐渐向左。
更新参数由Blob的Update()成员函数实现。具体是data=data-diff。所以要测试Updata()，首先就需要向data和diff分别读入数据：
1 | // 定义blob |
更新后的data（待学习参数）。
1 | Size: 1 2 3 4 (24) |
由结果可看出，其实计算的是data=data-diff，模型就是正向传播求diff，反向传播更新data。
从Blob写入protobuff：.ToProto()；从protobuff写入Blob：.FromProto。
需要添加头文件#include <caffe/util/io.hpp>从而调用函数WriteProtoToBinaryFile()和ReadProtoFromBinaryFileOrDie()
1 | //g++编译时加上 -lglog -lboost_system |
上述过程从读取Blob，写入磁盘，后从磁盘读取文件，写入里一个Blob。这对于加载，保存模型参数（权值）很实用。
接下来从caffe.proto文件，读关于Blob的描述。
第一，原始数据的类型，种类很多，如二进制文件，.npy文件，多种图像可是文件等等，不可能使用统一的代码来读取，所以转换成统一的格式可以简化数据读取层的实现。具体说是将不同类型的数据存储为key-value的对应关系。便于caffe DataLayer获取这些数据。
第二，使用LMDB和LEVELDB可以提高磁盘的IO利用率。
较新的caffe，都使用LMDB，LEVELDB是caffe早起使用的。
ProtoBuff是一种实现内存和其他存储介质数据交换（从磁盘读取数据到内存，从内存保存数据到磁盘）的协议。在caffe中protobuff用于解析.prototxt文件，包括超参数设置，和模型结构的定义。protobuff将.prototxt文件中的配置参数按照caffe.proto的协议解析并加载到内存变量Caffe::SolverParameter对象中。自己可以尝试对一个solver.prototxt文件按照caffe.proto解析出参数.
在caffe中使用一个ProtoBuffer工具完成数据在存储介质间的数据交换。
HDF5是一种数据格式，同时还有处理这种数据格式的统一函数库。
caffe 模型结构超参数的定义和训练超参数的定义，使用ProtoBuff（默认），可以看到相应的文件都是以.prototxt为后缀，也可以使用HDF5。而caffe所处理的数据，要转换成LMDB。
在caffe官方文档中，由关于data layer的描述：数据可以是来自高效的LMDB，levelDB数据库，可以使来自内存，或者来自HDF5或通用的图像格式的数据（当效率不是很重要时）。