python

python

pytorch运行一个网络。epoch 次数太多了,就中断了修改参数重新跑,然后就报错了out of memory

pytorchtanpytorch 回复了问题 • 2 人关注 • 2 个回复 • 1744 次浏览 • 2018-10-16 11:24 • 来自相关话题

关于pytorch中forward函数的写法?

pytorch16块的黄鹤楼 回复了问题 • 2 人关注 • 1 个回复 • 1733 次浏览 • 2018-09-26 11:00 • 来自相关话题

如何用pytorch拟合sin()函数生成的点

回复

pytorchrtfsc 发起了问题 • 1 人关注 • 0 个回复 • 631 次浏览 • 2018-06-04 16:31 • 来自相关话题

Pytorch中训练神经网络

pytorchwednesday_duo 回复了问题 • 2 人关注 • 1 个回复 • 1994 次浏览 • 2018-05-04 18:17 • 来自相关话题

我现有3万张图片,如何能够把他们以numpy的格式保存起来?

CUDAwoniu0755 回复了问题 • 3 人关注 • 2 个回复 • 1035 次浏览 • 2018-04-25 16:55 • 来自相关话题

Pytorch打印输出中间层"XX"的输出特征维度?

pytorchparadise 回复了问题 • 1 人关注 • 2 个回复 • 2759 次浏览 • 2018-04-20 17:28 • 来自相关话题

pycharm pythorch

回复

pytorchchuwill 发起了问题 • 1 人关注 • 0 个回复 • 595 次浏览 • 2018-04-16 20:52 • 来自相关话题

pytorch如何将Variable数据转化为Tensor数据

回复

pytorchthc222 回复了问题 • 1 人关注 • 1 个回复 • 1048 次浏览 • 2018-04-07 23:46 • 来自相关话题

LSTM在哪里?

pytorch想念成都的美食 回复了问题 • 2 人关注 • 1 个回复 • 1058 次浏览 • 2018-01-30 02:09 • 来自相关话题

pytorch如何在两个网络之间共享权重?

pytorch想念成都的美食 回复了问题 • 2 人关注 • 1 个回复 • 2482 次浏览 • 2018-01-30 02:02 • 来自相关话题

python selenium 查看网页源码?

回复

pythonAlso 发起了问题 • 1 人关注 • 0 个回复 • 571 次浏览 • 2017-07-25 15:06 • 来自相关话题

selenium+python 文本框输入中文和特殊字符串,报错处理

回复

pythonjack 发起了问题 • 1 人关注 • 0 个回复 • 631 次浏览 • 2017-07-25 14:47 • 来自相关话题

pytorch怎么做到不等长序列auto minibatch?

回复

pytorch匿名用户 回复了问题 • 1 人关注 • 1 个回复 • 982 次浏览 • 2017-07-21 22:07 • 来自相关话题

Pytorch的hook是用来干什么?

回复

pytorch匿名用户 回复了问题 • 1 人关注 • 1 个回复 • 1028 次浏览 • 2017-07-18 20:53 • 来自相关话题

调用adagrad优化方法报错

回复

pytorchjack 发起了问题 • 1 人关注 • 0 个回复 • 541 次浏览 • 2017-07-09 19:05 • 来自相关话题

在不同文件夹引入torch,出现错误

回复

pytorchjack 发起了问题 • 1 人关注 • 0 个回复 • 830 次浏览 • 2017-07-03 22:02 • 来自相关话题

何时传递一个数字到nn.CrossEntropyLoss()?

回复

pytorch匿名用户 回复了问题 • 1 人关注 • 1 个回复 • 2193 次浏览 • 2017-06-28 22:40 • 来自相关话题

pytorch 出现错误: expected a Variable argument, but got function

回复

pytorch匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 797 次浏览 • 2017-06-11 22:36 • 来自相关话题

为什么tensor传递的是张量而不是变量?

回复

pytorch匿名用户 回复了问题 • 1 人关注 • 1 个回复 • 485 次浏览 • 2017-06-05 20:15 • 来自相关话题

复制nn.Module神经网络。没有共享内存模块

回复

pytorch匿名用户 回复了问题 • 1 人关注 • 1 个回复 • 887 次浏览 • 2017-06-05 20:11 • 来自相关话题

Python如何提取CSS/JS/IMG的名称,Pytorch如何使用split

pythonptorch 发表了文章 • 0 个评论 • 565 次浏览 • 2017-07-13 13:32 • 来自相关话题

在我们进行爬虫或者其他操作中,常常会需要获取CSS/JS/IMG的名称,比如说<link href="http://www.ptorch.com/styles/css/css.css">
 
正则获取http://www.ptorch.com/styles/css/css.css,正则获取css.css,正则替换/styles/css/css.css为css.css
接下来我们开始做一下:a='http://www.ptorch.com/styles/css/css.css'
x= a.split('/')
print(x)
print len(x)
print x[len(x)-1]输入结果如下: 查看全部
在我们进行爬虫或者其他操作中,常常会需要获取CSS/JS/IMG的名称,比如说<link href="http://www.ptorch.com/styles/css/css.css">
 

接下来我们开始做一下:
a='http://www.ptorch.com/styles/css/css.css'
x= a.split('/')
print(x)
print len(x)
print x[len(x)-1]
输入结果如下:
屏幕快照_2017-07-13_下午1.31_.08_.png

python使用post方式发送json参数

pythonptorch 发表了文章 • 0 个评论 • 374 次浏览 • 2017-06-17 00:15 • 来自相关话题

最近我在使用爬虫中,发现一种请求,以前都没有遇到过,所以记录方便以后查阅:
1、正向接口以"Content-Type: application/json" 格式推送至微盟平台2、所有正向接口的调用均以post方式提交,并且post中的参数均以json方式构成。
import urllib2
import json

data = {'a': 'sd', 'b': 'dsds'}
headers = {'Content-Type': 'application/json'}
request = urllib2.Request(url='url', headers=headers, data=json.dumps(data))
response = urllib2.urlopen(request)主要是head要加一段代码指明用Json方式发送,data需要json.dumps一下 查看全部
最近我在使用爬虫中,发现一种请求,以前都没有遇到过,所以记录方便以后查阅:
  • 1、正向接口以"Content-Type: application/json" 格式推送至微盟平台
  • 2、所有正向接口的调用均以post方式提交,并且post中的参数均以json方式构成。

import urllib2
import json

data = {'a': 'sd', 'b': 'dsds'}
headers = {'Content-Type': 'application/json'}
request = urllib2.Request(url='url', headers=headers, data=json.dumps(data))
response = urllib2.urlopen(request)
主要是head要加一段代码指明用Json方式发送,data需要json.dumps一下

mac下安装python pip、pyspider

pythonptorch 发表了文章 • 1 个评论 • 626 次浏览 • 2017-06-12 23:15 • 来自相关话题

使用 pip 安装 Python 库。pip 是 Python 的包管理工具,安装后就可以直接在命令行一站式地安装/管理各种库了(pip 文档)。
一、安装pip$ wget http://pypi.python.org/package ... ar.gz
$ tar xzf pip-0.7.2.tar.gz
$ cd pip-0.7.2
$ sudo setup.py install二、然后安装pyspider,出现如下的提示:yemadeMacBook-Pro:pip-0.7.2 zhaoliang$ pip install pyspider
-bash: pip: command not found提示需要下载官方的command line,然后安装command line的时候,又提示:yemadeMacBook-Pro:pip-0.7.2 zhaoliang$ xcode-select --install
xcode-select: error: command line tools are already installed, use "Software Update" to install updates必須官方工具下載最新版 Command Line,  下载地址https://developer.apple.com/do ... %2520






注意这里需要对应好mac的版本号。安装完毕之后再次执行pip install pyspider就不会有问题了。(注意这里,如果网速不行会出现多次安装不成功)。
如何运行:
运行很简单,只需要在命令行下输入pyspider,完成之后访问http://localhost:5000即可。 查看全部
使用 pip 安装 Python 库。pip 是 Python 的包管理工具,安装后就可以直接在命令行一站式地安装/管理各种库了(pip 文档)。
一、安装pip
$ wget http://pypi.python.org/package ... ar.gz
$ tar xzf pip-0.7.2.tar.gz
$ cd pip-0.7.2
$ sudo setup.py install
二、然后安装pyspider,出现如下的提示:
yemadeMacBook-Pro:pip-0.7.2 zhaoliang$ pip install pyspider
-bash: pip: command not found
提示需要下载官方的command line,然后安装command line的时候,又提示:
yemadeMacBook-Pro:pip-0.7.2 zhaoliang$ xcode-select --install
xcode-select: error: command line tools are already installed, use "Software Update" to install updates
必須官方工具下載最新版 Command Line,  下载地址https://developer.apple.com/do ... %2520

131639420276859.png


注意这里需要对应好mac的版本号。安装完毕之后再次执行pip install pyspider就不会有问题了。(注意这里,如果网速不行会出现多次安装不成功)。
如何运行:
运行很简单,只需要在命令行下输入pyspider,完成之后访问http://localhost:5000即可。

分别在Mac,Win,ubuntu中安装MySQLdb

pythonptorch 发表了文章 • 0 个评论 • 377 次浏览 • 2017-06-12 23:09 • 来自相关话题

MySQLdb为python连接MySQL数据库的引擎;但是如何安装一直是新手们的一块心病:




官方地址:http://sourceforge.net/projects/mysql-python/
下载地址:http://sourceforge.net/projects/mysql-python/files/mysql-python/1.2.3/MySQL-python-1.2.3.tar.gz/download
一. Mac,Windos安装:tar –zxvf MySQL-python-1.2.3.tar.gz
cd MySQL-python-1.2.3
python setup.py build
python setup.py installMac下如果提示安装失败,是因为你的权限不够

二. ubuntu安装
如果是ubuntu,输入以下命令即可安装sudo apt-get install python-mysqldb三. 如何测试安装成功:
import MySQLdb没有任何异常信息则表示安装成功
  查看全部
MySQLdb为python连接MySQL数据库的引擎;但是如何安装一直是新手们的一块心病:
2.jpg

官方地址:http://sourceforge.net/projects/mysql-python/
下载地址:http://sourceforge.net/projects/mysql-python/files/mysql-python/1.2.3/MySQL-python-1.2.3.tar.gz/download
一. Mac,Windos安装:
tar –zxvf MySQL-python-1.2.3.tar.gz
cd MySQL-python-1.2.3
python setup.py build
python setup.py install
Mac下如果提示安装失败,是因为你的权限不够

二. ubuntu安装
如果是ubuntu,输入以下命令即可安装
sudo apt-get install python-mysqldb
三. 如何测试安装成功:
import MySQLdb
没有任何异常信息则表示安装成功
 

[pytorch快速入门教程]pytorch是什么?

pytorchwda 发表了文章 • 0 个评论 • 570 次浏览 • 2017-05-30 21:30 • 来自相关话题

PyTorch是一个提供两个高级功能的python包:
具有强GPU加速度的张量计算(如numpy)深层神经网络建立在基于磁带的自动调整系统上
您可以重用您最喜爱的python软件包,如numpy,scipy和Cython,以便在需要时扩展PyTorch。

PyTorch在细粒度级别是由以下组件组成的库:
torch 像NumPy这样的Tensor图书馆,拥有强大的GPU支持torch.autograd 一种基于磁带的自动分类库,支持所有可区分的Tensor操作手电筒torch.nn 一个神经网络库与autograd设计了最大的灵活性torch.optim 一种与torch.nn一起使用的优化包,具有标准优化方法,如SGD,RMSProp,LBFGS,Adam等。torch.multiprocessing python多处理,但是具有魔法内存共享的手电筒传感器跨过程。适用于数据加载和hogwild培训。torch.utils DataLoader,Trainer等实用功能为方便起见torch.legacy(.nn / .optim) 由于向后兼容性原因,已经从割炬移植的旧代码

通常使用PyTorch可以:
使用GPU的功能代替numpy。一个深刻的学习研究平台,提供最大的灵活性和速度
 进一步阐述:GPU准备好的Tensor库
如果你使用numpy,那么你已经使用了Tensors(aka ndarray)。




PyTorch提供可以在CPU或GPU上生活的Tensors,并加速计算量。
我们提供各种各样的张量程序,以加速和适应您的科学计算需求,如切片,索引,数学运算,线性代数,缩减。他们快!

动态神经网络:基于磁带的自动格式
PyTorch具有构建神经网络的独特方式:使用和重放磁带录音机。
大多数框架,比如TensorFlow,Theano,Caffe和CNTK拥有世界的静态视图。必须建立一个神经网络,并重复使用相同的结构。改变网络行为的方式意味着必须从头开始。
使用PyTorch,我们使用一种称为反向模式自动分化的技术,它允许您以零延迟或开销改变网络的任意运行方式。我们的灵感来自于在这个题目的几个研究论文,以及当前和过去的工作,如 autograd, autograd, Chainer等。
虽然这种技术并不是PyTorch所特有的,但它是迄今为止最快的实现之一。您可以为您的疯狂研究获得最佳的速度和灵活性。





Python第一
PyTorch不是一个Python绑定到一个单一的C ++框架。它被构建为深入整合到Python中。您可以自然地使用它,就像您将使用numpy / scipy / scikit学习等。您可以使用自己喜欢的库并使用Cython和Numba等软件包,在Python本身编写新的神经网络层。我们的目标是不要在适当的时候重塑轮子。

势在必得的经验
PyTorch的设计是直观的,线性的思想和易于使用。当您执行一行代码时,它将被执行。没有一个异步的世界观。当您进入调试器或接收错误消息和堆栈跟踪时,理解它们是直接的。堆栈跟踪正好指向您的代码定义的位置。我们希望您不要花费几个小时来调试代码,因为堆栈跟踪错误或异步和不透明的执行引擎。

快速和精益
PyTorch具有最小的框架开销。我们集成加速库,如英特尔MKL和NVIDIA(CuDNN,NCCL),以最大限度地提高速度。核心是CPU和GPU Tensor和神经网络后端(TH,THC,THNN,THCUNN)都是用C99 API写成独立的库。
它们已经成熟,并已经过多年的测试。
因此,PyTorch相当快 - 无论您是运行小型或大型神经网络。
PyTorch的内存使用率与Torch或其他一些替代品相比非常有效。我们为GPU编写了自定义内存分配器,以确保您的深入学习模型具有最大的内存效率。这使您能够训练比以前更大的深入学习模型。

扩展没有痛苦
编写新的神经网络模块,或与PyTorch的Tensor API进行接口的设计是简单而且抽象最少的。您可以使用torch API 或您喜欢的基于numpy的库(如SciPy)在Python中编写新的神经网络层如果你想用C / C ++图层,我们根据一个扩展API CFFI是有效的,并以最小的样板。没有需要编写的包装器代码。你可以在这里看到一个例子。 查看全部
PyTorch是一个提供两个高级功能的python包:
  • 具有强GPU加速度的张量计算(如numpy)
  • 深层神经网络建立在基于磁带的自动调整系统上

您可以重用您最喜爱的python软件包,如numpy,scipy和Cython,以便在需要时扩展PyTorch。

PyTorch在细粒度级别是由以下组件组成的库:
  • torch 像NumPy这样的Tensor图书馆,拥有强大的GPU支持
  • torch.autograd 一种基于磁带的自动分类库,支持所有可区分的Tensor操作手电筒
  • torch.nn 一个神经网络库与autograd设计了最大的灵活性
  • torch.optim 一种与torch.nn一起使用的优化包,具有标准优化方法,如SGD,RMSProp,LBFGS,Adam等。
  • torch.multiprocessing python多处理,但是具有魔法内存共享的手电筒传感器跨过程。适用于数据加载和hogwild培训。
  • torch.utils DataLoader,Trainer等实用功能为方便起见
  • torch.legacy(.nn / .optim) 由于向后兼容性原因,已经从割炬移植的旧代码


通常使用PyTorch可以:
  • 使用GPU的功能代替numpy。
  • 一个深刻的学习研究平台,提供最大的灵活性和速度

 进一步阐述:GPU准备好的Tensor库
如果你使用numpy,那么你已经使用了Tensors(aka ndarray)。
tensor_illustration.png

PyTorch提供可以在CPU或GPU上生活的Tensors,并加速计算量。
我们提供各种各样的张量程序,以加速和适应您的科学计算需求,如切片,索引,数学运算,线性代数,缩减。他们快!

动态神经网络:基于磁带的自动格式
PyTorch具有构建神经网络的独特方式:使用和重放磁带录音机。
大多数框架,比如TensorFlowTheanoCaffeCNTK拥有世界的静态视图。必须建立一个神经网络,并重复使用相同的结构。改变网络行为的方式意味着必须从头开始。
使用PyTorch,我们使用一种称为反向模式自动分化的技术,它允许您以零延迟或开销改变网络的任意运行方式。我们的灵感来自于在这个题目的几个研究论文,以及当前和过去的工作,如 autograd, autograd, Chainer等。
虽然这种技术并不是PyTorch所特有的,但它是迄今为止最快的实现之一。您可以为您的疯狂研究获得最佳的速度和灵活性。
dynamic_graph.gif


Python第一
PyTorch不是一个Python绑定到一个单一的C ++框架。它被构建为深入整合到Python中。您可以自然地使用它,就像您将使用numpy / scipy / scikit学习等。您可以使用自己喜欢的库并使用Cython和Numba等软件包,在Python本身编写新的神经网络层。我们的目标是不要在适当的时候重塑轮子。

势在必得的经验
PyTorch的设计是直观的,线性的思想和易于使用。当您执行一行代码时,它将被执行。没有一个异步的世界观。当您进入调试器或接收错误消息和堆栈跟踪时,理解它们是直接的。堆栈跟踪正好指向您的代码定义的位置。我们希望您不要花费几个小时来调试代码,因为堆栈跟踪错误或异步和不透明的执行引擎。

快速和精益
PyTorch具有最小的框架开销。我们集成加速库,如英特尔MKL和NVIDIA(CuDNN,NCCL),以最大限度地提高速度。核心是CPU和GPU Tensor和神经网络后端(TH,THC,THNN,THCUNN)都是用C99 API写成独立的库。
它们已经成熟,并已经过多年的测试。
因此,PyTorch相当快 - 无论您是运行小型或大型神经网络。
PyTorch的内存使用率与Torch或其他一些替代品相比非常有效。我们为GPU编写了自定义内存分配器,以确保您的深入学习模型具有最大的内存效率。这使您能够训练比以前更大的深入学习模型。

扩展没有痛苦
  • 编写新的神经网络模块,或与PyTorch的Tensor API进行接口的设计是简单而且抽象最少的。
  • 您可以使用torch API 或您喜欢的基于numpy的库(如SciPy)在Python中编写新的神经网络层
  • 如果你想用C / C ++图层,我们根据一个扩展API CFFI是有效的,并以最小的样板。
  • 没有需要编写的包装器代码。你可以在这里看到一个例子。

Python结合百度翻译实现"多语言"自动翻译,完整Demo及教程

默认分类ptorch 发表了文章 • 0 个评论 • 762 次浏览 • 2017-05-28 17:53 • 来自相关话题

今天我写爬虫的时候,需要爬取一些国外的论坛;拿过来的内容需要翻译成汉语,我们平时遇到不会的英文都会上百度翻译什么的,那么今天我们用Python来实现一下吧!
一. 调用平台(百度翻译)其他平台类似
注册获取APPID,基本信息随便填就行了,注册地址:http://api.fanyi.baidu.com/api ... apply获取APPID和密钥


查看开发文档,看一下参数配置,地址为:http://api.fanyi.baidu.com/api/trans/product/apidoc
二. Python实现自动翻译
注意:需要条件,requests,demjson;这个相信任何pythoner都有吧,好的,我们接下来贴代码。# -*- coding: utf-8 -*-
import hashlib
import requests
import demjson


def translate(type,q,tfrom,to,appid,salt):
apiurl = {"http" : "http://api.fanyi.baidu.com/api ... ot%3B, "https" : "https://fanyi-api.baidu.com/ap ... ot%3B }
# 签名 appid+q+salt+密钥 的MD5值
sign=hashlib.md5(appid+q+salt+secrect).hexdigest()
api = apiurl[type]+"?q="+q+"&from="+tfrom+"&from="+tfrom+"&to="+to+"&appid="+appid+"&salt="+salt+"&sign="+sign
translate = requests.get(api).text
try:
info = demjson.decode(translate)
trans_result = info["trans_result"]
src = trans_result[0]["src"]
dst = trans_result[0]["dst"]
print src
print dst
except:
print "参数错误,错误原因查看:http://api.fanyi.baidu.com/api ... ot%3B

if __name__ == "__main__":
# 请求方式
type = "http"
# 请求翻译query,UTF-8编码
q = "我明天就要回家了,要不今天我们聚一聚?"
# 翻译源语言
tfrom = "zh"
# 译文语言
to = "en"
# appid
appid = "20170528123442426"
# 随机数
salt = "2012052822249486"
# 密钥
secrect = "Wh2tOnmo3wqbVCskPavC"
translate(type,q,tfrom,to,appid,salt)如果遇到错误,取看一下文档,如果不知道翻译简称,也可以去看文档!其实很简单啦,说了这么么多,居然忘了贴效果图,那就来一张吧!




  查看全部
今天我写爬虫的时候,需要爬取一些国外的论坛;拿过来的内容需要翻译成汉语,我们平时遇到不会的英文都会上百度翻译什么的,那么今天我们用Python来实现一下吧!
一. 调用平台(百度翻译)其他平台类似

二. Python实现自动翻译
注意:需要条件,requests,demjson;这个相信任何pythoner都有吧,好的,我们接下来贴代码。
# -*- coding: utf-8 -*-
import hashlib
import requests
import demjson


def translate(type,q,tfrom,to,appid,salt):
apiurl = {"http" : "http://api.fanyi.baidu.com/api ... ot%3B, "https" : "https://fanyi-api.baidu.com/ap ... ot%3B }
# 签名 appid+q+salt+密钥 的MD5值
sign=hashlib.md5(appid+q+salt+secrect).hexdigest()
api = apiurl[type]+"?q="+q+"&from="+tfrom+"&from="+tfrom+"&to="+to+"&appid="+appid+"&salt="+salt+"&sign="+sign
translate = requests.get(api).text
try:
info = demjson.decode(translate)
trans_result = info["trans_result"]
src = trans_result[0]["src"]
dst = trans_result[0]["dst"]
print src
print dst
except:
print "参数错误,错误原因查看:http://api.fanyi.baidu.com/api ... ot%3B

if __name__ == "__main__":
# 请求方式
type = "http"
# 请求翻译query,UTF-8编码
q = "我明天就要回家了,要不今天我们聚一聚?"
# 翻译源语言
tfrom = "zh"
# 译文语言
to = "en"
# appid
appid = "20170528123442426"
# 随机数
salt = "2012052822249486"
# 密钥
secrect = "Wh2tOnmo3wqbVCskPavC"
translate(type,q,tfrom,to,appid,salt)
如果遇到错误,取看一下文档,如果不知道翻译简称,也可以去看文档!其实很简单啦,说了这么么多,居然忘了贴效果图,那就来一张吧!
8345af5a09e067d9f4e11b5c402d3780.png

 
    Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。
Python由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。
像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议。