Requests模块基础用法

最近几天在学习爬虫，想把拉钩网上面关于python的招聘信息全部爬下来方便查看。先去github上面搜索了下其他人的代码，很多代码都用到了多线程模块，目前知识储备还不够，看的有些吃力。于是便准备自己写一个简单的爬虫当作练手。在写的过程中，学习了requests模块，重温了beautifulsoup模块的知识。

Requests模块的基本用法

发送请求

get请求

>>> r = requests.get(url)

Post请求

>>> r = requests.post(url)

为url传递参数

>>> payload = {"key1": "value1", "key2": "value2"}
>>> r = request.get(url, params = payload)

读取相应内容

>>> r = requests.get(url)
>>> r.text

Requests会自动解码来自服务器的内容。大多数unicode字符集都能被无缝地解码。

定制请求头部

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print r.text