caffe-parallel通过参数服务器的方式对caffe进行了多机数据并行，底层通信采用MPI。下面记录一些看源码过程中的一些笔记，以免自己忘记。    caffe-parallel主要修改了solver.cpp net.cpp data_layer.cpp等几个文件。采用多线程的方式实现了参数服务器。0号处理器为参数服务器，有n个线程（n表示共有n个核），其中n-1个ComputeValueThreadClient线程分别对应其余n-1个核，用于异步的接收n-1个核上传来的参数，并向他们发送数据。剩余的n-1个核都是client。1个ComputeValueThreadServe...

技术向：一文读懂卷积神经网络Large Scale Distributed Deep Networks 中译文Scaling Distributed Machine Learning with the Parameter ServerCommunication Efficient Distributed Machine Learning with the Parameter ServerMore Effective Distributed ML via a Stale Synchronous Parallel Parameter Server常用  blas 函数An overview of ...

ps-lite是一个异步通信的参数服务器。主要提供push，pull，wait操作。ps-lite底层通信采用ZMQ实现。ZMQ是一个简单好用的传输层，像框架一样的一个socket library，他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。ps-lite中van封装了通信操作。整体结构postoffice类对van进行了管理，管理了customer的信息，提供worker和server的id转换和查询。postoffice类以单例模式出现。customer类主要维护了request和response的状态，其中的tracker...

整体结构：主要有以下部分：net, blob, layer, solver.net.cpp:  net定义网络， 整个网络中含有很多layers，net构造函数中将所有layer按配置组装起来。net.cpp负责计算整个网络在训练中的forward, backward过程， 即计算forward/backward 时各layer的gradient。layer:  在protobuffer (.proto文件中定义message类型，.prototxt或.binaryproto文件中定义message的值) 中调用时包含属性name， type（data/conv/pool…）， con...