怎么看待《tensorflow实战 网盘》这本书

来源：蜘蛛抓取(WebSpider) 时间：2017-10-29 07:07 标签： tensorflow实战 下载
【TensorFlow实战——笔记】第1章：TensorFlow基础 - 简书
【TensorFlow实战——笔记】第1章：TensorFlow基础
1.1 TensorFlow概要
TensorFlow是Google公司开源的分布式机器学习框架。它的前身是DistBelief，在Google大规模内部使用。TensorFlow最早由Google Brain研究组发起。
官网：Github网址：模型仓库网址：
TensorFlow关键版本发布历史
在Github上开源(Ver0.5.0)
支持Python3.3+，GPU性能提升...(Ver0.6.0)
支持GPU使用Cuda7.0+、cuDNN R2+、cuDNN R4等运算加速库...(Ver0.7.0)
通过gRPC实现分布式计算...(Ver0.8.0)
支持Python3.5，支持iOS，支持Mac电脑上的GPU计算...(Ver0.9.0)
添加C++ shape inference，添加graph-construction C/C++(大部分) Api...(Ver0.10.0)
支持cuDNN 5、Cuda8.0，HDFS...(Ver0.11.0)
支持Windows环境运行，cuDNN 5.1...(Ver0.12.0)
发布正式版(Ver1.0.0)
支持Windows下的Java Api...(Ver1.1.0)
支持Windows下的Python 3.6...(Ver1.2.0)
前端API支持语言
Python (推荐使用，API最全面)
非官方(Julia、Javascript、R)
运算操作硬件
CPU: Linux, Mac, Windows, Android, iOS
GPU: Linux, Mac, Windows
TPU: Tensor Processing Unit(Google专门为大规模深度学习计算定制的芯片，内部使用，AlphaGo采用)
自然语言处理
计算机视觉
机器人控制
分子活动预测
编程模型：Dataflow-like model(数据流模型)
部署：一套代码，全平台运行
运行模式：单机、分布式
数学表达：Math Graph Expression(数学计算图表达)、Auto Differentiation(自动微分)
平台支持：Google Cloud Platform、Hadoop File System
1.2 TensorFlow编程模型简介
TensorFlow的计算可以表示为一种有向图(directed graph)，或者称计算图(computation graph)。图中每一个运算操作(operation)是一个节点(node)，节点之间的连接线称为边(edge)。计算图中的节点可以有任意多个输入和任意多个输出，每个节点都只有一个运算操作。在计算图中流动(flow)的数据被称为张量(tensor)，故得名TensorFlow。
计算图示例
import tensorflow as tf
b=tf.Variable(tf.zeros([100]))
# 生成100维的向量，初始化为0
W=tf.Variable(tf.random_uniform([784,100],-1,1))
# 生成784x100的随机矩阵W
x=tf.placeholder(name="x")
# 输入的Placeholder
relu=tf.nn.relu(tf.matmul(W, x)+b)
# ReLU(Wx+b)
# 根据ReLU函数的结果计算Cost
s=tf.Session()
for step in range(0, 10):
input=...construct 100-D input array... # 为输入创建一个100维的向量
result=s.run(C, feed_dict={x: input})
# 获取Cost，供给输入x
print(step, result)
Session是用户使用TensorFlow时交互的接口。Session可以通过Extend方法添加节点(node)和边(edge)。Variable是一类特殊的运算操作，可以将tensor存储在内存或显存中。
内建运算操作
标量运算：Add、Sub、Mul、Div、Exp、Log、Greater、Less、Equal
向量运算：Concat、Slice、Split、Constant、Rank、Shape、Shuffle
矩阵运算：MatMul、MatrixInverse、MatrixDeterminant
带状态的运算：Variable、Assign、AssignAdd
神经网络组件：SoftMax、Sigmoid、ReLU、Convolution2D、MaxPooling
存储、恢复：Save、Restore
队列及同步运算：Enqueue、Dequeue、MutexAcquire、MutexRelease
控制流：Merge、Switch、Enter、Leave、NextIteration
client：客户端执行session run与master相连
master：指导所有worker按流程执行计算图
worker：与多个硬件设备(device)相连，并管理他们
每一个worker管理多个设备，设备的name包含硬件类别、编号、任务号(单机版没有)，例如：
单机模式：/job:localhost/device:cpu:0分布式模式： /job:worker/task:17/device:gpu:3
单机模式：计算图会按依赖关系被顺序执行。当一个节点的所有前置节点执行完时(依赖数为0)，这个节点就会被加入ready queue以等待执行；同时，它后置的所有节点依赖数减1，这就是标准的计算拓扑方式。
分布式模式：设计了一套节点(node)分配设备策略。 通过计算一个代价模型，估算每一个节点的输入、输出tensor的大小和所需的时间。代价模型由人工经验制定也可由实际运算测量得到。策略确定后，计算图会被划分成许多子图，使用同一设备且相邻的节点会被划分到同一个子图。子图划分的图例如下：
单机单设备(device)改造成单机多设备(device)
for i in range(8):
for d in range(4):
with tf.device("/gpu:%d" % d):
input = x[i] if d is 0 else m[d-1]
m[d], c[d] = LSTMCell(input, mprev[d], cpev[d])
mprev[d] = m[d]
cprev[d] = c[d]
分布式容错性
信息从发送节点传输到接收节点失败时
周期性的worker心跳检测失败时
当一个故障被检测到，整个计算图会终止并重启。
原生支持自动求导(以后学习)
支持单独执行子图：bar:0表示名为bar的节点的第1个输出，输入数据的节点会连接一个feed node，输出的节点会连接一个fetch node
支持计算图的控制流：if-condition、while-loop、Switch、Merge、Enter、Leave、NextIteration
数据输入除了feed node，还有特殊的input node直接输入文件系统的路径，从client读取
队列(queue)：用于任务调度，让计算图的不同节点异步执行
容器(container)：管理长期变量，比如Variable等
高度优化的三方计算库
线性代数计算库：Eigen
矩阵乘法计算库：BLAS、cuBLAS(CUDA BLAS)
深度学习计算库：cuda-convnet、cuDNN
加速神经网络训练的并行计算模式
数据并行：通过将一个mini-batch数据放在不同的设备上计算，实现梯度计算的并行化。计算还可以分同步、异步和混合三种方式。同步的优点是没有梯度干扰，缺点是容错性差，一台机器出现问题后要重跑；异步的优点是有一定容错性，但是受梯度影响问题，导致每组梯度利用效率下降。
模型并行：将计算图的不同部分放在不同的设备上运算，可以实现简单模型的并行。
流水线并行：和异步的数据并行很像，只不过是在同一个硬件设备上实现并行，提高设备利用率。
努力朝全栈产品架构师发展中...亚马逊意外错误报歉，由于程序执行时，遇到意外错误，您刚刚操作没有执行成功，请稍后重试。或将此错误报告给我们的客服中心：推荐您，确认您的操作无误后，再继续其他操作。您可以通过亚马逊，获得更多的帮助。

我要回帖

更多关于 tensorflow实战 下载 的文章

 

随机推荐