如何爬虫电影

A. python 爬虫求教

python爬虫，requests非常好用，建议使用。匹配结果使用re正则，列：

#-*-coding:utf-8-*-

importre


str1="""
<spanclass="title">寻梦环游记</span>
...
<spanclass="rating_num"property="v:average">9.0</span>
"""

title=re.search(r'<spanclass="title">(.*?)</span>',str1)
iftitle:
print(title.group(1))
rating=re.search(r'<spanclass="rating_num"property="v:average">(.*?)</span>',str1)
ifrating:
print(rating.group(1))

B. python爬虫抓取电影top20排名怎么写

初步接触python爬虫(其实python也是才起步)，发现一段代码研究了一下，觉得还比较有用处，Mark下。
上代码：

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一个简单的Python爬虫, 用于抓取豆瓣电影Top前100的电影的名称
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""类的简要说明
主要用于抓取豆瓣Top100的电影名称

Attributes:
page: 用于表示当前所处的抓取页面
cur_url: 用于表示当前争取抓取页面的url
datas: 存储处理好的抓取到的电影名称
_top_num: 用于记录当前的top号码
"""

def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣电影爬虫准备就绪, 准备爬取数据..."

def get_page(self, cur_page):
"""
根据当前页码爬取网页HTML
Args:
cur_page: 表示当前所抓取的网站页码
Returns:
返回抓取到整个页面的HTML(unicode编码)
Raises:
URLError:url引发的异常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldn't fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通过返回的整个网页HTML, 正则匹配前100的电影名称

Args:
my_page: 传入页面的HTML文本用于正则匹配
"""
temp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S) for index, item in enumerate(movie_items): if item.find("&nbsp") == -1:
temp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬虫入口, 并控制爬虫抓取页面的范围
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page += 1def main():
print u"""
###############################
一个简单的豆瓣电影前100爬虫
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') for item in my_spider.datas: print item
fobj.write(item.encode("utf-8")+' ')
time.sleep(0.1) print u"豆瓣爬虫爬取完成"if __name__ == '__main__':
main()

运行结果：

C. 爬虫爬取的豆瓣电影排行数据怎么转换为柱状图

建议可以使用前嗅的ForeSpider数据采集软件可以采集，我之前就采过豆瓣的影评，可以设置各种过滤规律，比如我只要豆瓣评分6.0以上的电影，就可以精确的过滤。
新浪的内容也是可以采到的。
你先去一个免费版的试试，没有功能和使用时长限制。
希望对你的问题有帮助

D. Python爬虫，爬取豆瓣电影检测到ip异常请求，怎么办解决，现在爬取不了豆瓣电影了

ip估计被封了，换个ip

E. 用Python爬虫爬取爱奇艺上的VIP电影视频，是违法行为吗

属于违法行为，情节严重者，爱奇艺将有权对您追究法律责任

F. 请问那些卖最新电影得，用的什么软件搜索出来得，听说还是同步更新，知道得人回答，

最新的电影都是要在电影院上映一段时间后才会出现在网上，否则电影一出来网上就有了，谁还去电影院看，电影投资方怎么赚钱，不过很多软件可以比较快的弄到授权，要钱才能看，或者冲会员

G. 怎样解析出HTML标签中的数据，也就是说提取数据，我做了一个爬虫，爬取豆瓣前250的电影。

用的是什么语言？一般通用的可以用正则表达式解析，不过会麻烦一点。

如果用nodejs，可以用cheerio，类似jquery的用法。

H. python爬虫抓取电影top20排名怎么用

日长篱落无人过,唯有蜻蜓蛱蝶飞.

I. 怎样避开豆瓣对爬虫的封锁，从而抓取豆瓣上电影内容

用前嗅的ForeSpider数据采集软件可以采集，我之前采过豆瓣的影评，可以设置各种过滤规律，比如我只要豆瓣评分6.0以上的电影，就可以精确的过滤。ForeSpider可以智能模拟浏览器和用户行为，突破反爬虫限制。可以设置代理IP，并且可以自动过滤优质IP代理，提高使用代理的速度。
对于一些高难度的网站，反爬虫措施比较多，可以使用ForeSpider内部自带的爬虫脚本语言系统，简单几行代码就可以采集到高难度的网站。
可以去下载免费版，免费版不限制采集功能。有详细的操作手册可以学习。如果自己不想学习，可以让前嗅进行配置。
而且客服可以教你怎样用，有问题出错了客服会远程操作，非常好的服务态度。

J. python scrapy爬虫豆瓣的“加载更多” 应该怎么爬到所有的电影

不说具体，说思路。
你要分析 当你点击 加载更多 时，浏览器都做了什么（他是怎么取回 "更多数据"的）
然后在scrapy中模拟这一过程！