整体结构：主要有以下部分：net, blob, layer, solver.net.cpp:  net定义网络， 整个网络中含有很多layers，net构造函数中将所有layer按配置组装起来。net.cpp负责计算整个网络在训练中的forward, backward过程， 即计算forward/backward 时各layer的gradient。layer:  在protobuffer (.proto文件中定义message类型，.prototxt或.binaryproto文件中定义message的值) 中调用时包含属性name， type（data/conv/pool…）， con...

    caffe-parallel通过参数服务器的方式对caffe进行了多机数据并行，底层通信采用MPI。下面记录一些看源码过程中的一些笔记，以免自己忘记。    caffe-parallel主要修改了solver.cpp net.cpp data_layer.cpp等几个文件。采用多线程的方式实现了参数服务器。0号处理器为参数服务器，有n个线程（n表示共有n个核），其中n-1个ComputeValueThreadClient线程分别对应其余n-1个核，用于异步的接收n-1个核上传来的参数，并向他们发送数据。剩余的n-1个核都是client。1个ComputeValueThreadServe...