Ⅰ 怎樣避開豆瓣對爬蟲的封鎖，從而抓取豆瓣上電影內容
用前嗅的ForeSpider數據採集軟體可以採集，我之前采過豆瓣的影評，可以設置各種過濾規律，比如我只要豆瓣評分6.0以上的電影，就可以精確的過濾。ForeSpider可以智能模擬瀏覽器和用戶行為，突破反爬蟲限制。可以設置代理IP，並且可以自動過濾優質IP代理，提高使用代理的速度。
對於一些高難度的網站，反爬蟲措施比較多，可以使用ForeSpider內部自帶的爬蟲腳本語言系統，簡單幾行代碼就可以採集到高難度的網站。
可以去下載免費版，免費版不限制採集功能。有詳細的操作手冊可以學習。如果自己不想學習，可以讓前嗅進行配置。
而且客服可以教你怎樣用，有問題出錯了客服會遠程操作，非常好的服務態度。
Ⅱ 豆瓣電影top250根據什麼排名的
當然是根據電影的口碑和知名度來排名的！
口碑是第一需要考慮的要素，就像是第一名的《肖申克的救贖》，毋庸置疑的經典！
有些電影過於小眾化，比如《狩獵》（豆瓣我記得是9.0的評分），可能口碑也不錯，但排名就會靠後一點。
Ⅲ 如何通過豆瓣API獲取圖書和電影列表
豆瓣API提供了一種簡單的方式可以直接在HTML頁面中使用API，下面給出這種使用方式的簡單示例。
首先我們需要在HTML頁面中做如下script標簽：<script type="text/javascript" src=" />
然後就可以調用豆瓣API，其中通過定義callback函數來操作返回的JSON數據。
此外，豆瓣也提供了解析函數來幫助你更容易地使用JSON格式的返回值。使用豆瓣提供的解析函數，你需要在頁面中添加script標簽：<script type="text/javascript" src="。
接下來你就可以使用豆瓣提供的解析函數來處理返回值，例如：var book = DOUBAN.parseSubject(result)。
解析函數返回更容易使用的javascript對象，你可以這樣得到書的封面圖片：book.link.image
HTML頁面使用API獲得ID為xxxxx電影的信息並展示在頁面上（注意將{yourapikey}替換為你的API Key）。
註：實現上，豆瓣API使用 JSONP 方式來支持跨域調用API 因此你也可以使用自己熟悉的javascript庫來調用JSONP風格的豆瓣API. 此時，你需要將alt設置為xd同時提供callback參數。另外部份的豆瓣功能及操作可登陸下面的網站/客戶端：
Ⅳ 【初學者】R語言 rvest包 爬取豆瓣電影top250，使用data.frame合並結果時，行數不一樣，無法合並
frame <- data.frame(x=c(1,2,3),
y=c(4,7,9))
if (3 %in% frame$x)
foo()
Ⅳ 如何抓取豆瓣上的電影
在豆瓣電影搜索框里輸上名字，點搜索以後出來的頁面右側會出來「豆瓣電影還沒有，我來添加」，然後就填名字就行了 沒有imbd編號也沒事，填完了以後會有審核，幾天之後會豆郵通知你是否添加成功
Ⅵ Python抓取豆瓣電影排行榜
1.觀察url
首先觀察一下網址的結構 http://movie.douban.com/top250?start=0&filter=&type= ：
可以看到，問號?後有三個參數 start、filter、type，其中start代表頁碼，每頁展示25部電影，0代表第一頁，以此類推25代表第二頁，50代表第三頁...
filter顧名思義，是過濾已經看過的電影，filter和type在這里不重要，可以不管。
2.查看網頁源代碼
打開上面的網址，查看源代碼，可以看到信息的展示結構如下：
1 <ol class="grid_view"> 2 <li> 3 <div class="item"> 4 <div class="pic"> 5 <em class="">1</em> 6 <a href="http://movie.douban.com/subject/1292052/"> 7 <img alt="肖申克的救贖" src="http://img3.douban.com/view/movie_poster_cover/ipst/public/p480747492.jpg" class=""> 8 </a> 9 </div>10 <div class="info">11 <div class="hd">12 <a href="http://movie.douban.com/subject/1292052/" class="">13 <span class="title">肖申克的救贖</span>14 <span class="title"> / The Shawshank Redemption</span>15 <span class="other"> / 月黑高飛(港) / 刺激1995(台)</span>16 </a>17 18 19 <span class="playable">[可播放]</span>20 </div>21 <div class="bd">22 <p class="">23 導演: 弗蘭克·德拉邦特 Frank Darabont 主演: 蒂姆·羅賓斯 Tim Robbins /...<br>24 1994 / 美國 / 犯罪 劇情25 </p>26 27 28 <div class="star">29 <span class="rating5-t"><em>9.6</em></span>30 <span>646374人評價</span>31 </div>32 33 <p class="quote">34 <span class="inq">希望讓人自由。</span>35 </p>36 </div>37 </div>38 </div>39 </li>
其中<em class="">1</em>代表排名，<span class="title">肖申克的救贖</span>代表電影名，其他信息的含義也很容易能看出來。
於是接下來可以寫正則表達式：
1 pattern = re.compile(u'<div.*?class="item">.*?<div.*?class="pic">.*?' 2 + u'<em.*?class="">(.*?)</em>.*?' 3 + u'<div.*?class="info">.*?<span.*?class="title">(.*?)' 4 + u'</span>.*?<span.*?class="title">(.*?)</span>.*?' 5 + u'<span.*?class="other">(.*?)</span>.*?</a>.*?' 6 + u'<div.*?class="bd">.*?<p.*?class="">.*?' 7 + u'導演: (.*?) ' 8 + u'主演: (.*?)<br>' 9 + u'(.*?) / (.*?) / '10 + u'(.*?)</p>'11 + u'.*?<div.*?class="star">.*?<em>(.*?)</em>'12 + u'.*?<span>(.*?)人評價</span>.*?<p.*?class="quote">.*?'13 + u'<span.*?class="inq">(.*?)</span>.*?</p>', re.S)
在此處flag參數re.S代表多行匹配。
3.使用面向對象的設計模式編碼
代碼如下：
1 # -*- coding:utf-8 -*- 2 __author__ = 'Jz' 3 import urllib2 4 import re 5 import sys 6 7 class MovieTop250: 8 def __init__(self): 9 #設置默認編碼格式為utf-810 reload(sys)11 sys.setdefaultencoding('utf-8')12 self.start = 013 self.param = '&filter=&type='14 self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}15 self.movieList = []16 self.filePath = 'D:/coding_file/python_file/File/DoubanTop250.txt'17 18 def getPage(self):19 try:20 URL = 'http://movie.douban.com/top250?start=' + str(self.start)21 request = urllib2.Request(url = URL, headers = self.headers)22 response = urllib2.urlopen(request)23 page = response.read().decode('utf-8')24 pageNum = (self.start + 25)/2525 print '正在抓取第' + str(pageNum) + '頁數據...' 26 self.start += 2527 return page28 except urllib2.URLError, e:29 if hasattr(e, 'reason'):30 print '抓取失敗，具體原因：', e.reason31 32 def getMovie(self):33 pattern = re.compile(u'<div.*?class="item">.*?<div.*?class="pic">.*?'34 + u'<em.*?class="">(.*?)</em>.*?'35 + u'<div.*?class="info">.*?<span.*?class="title">(.*?)'36 + u'</span>.*?<span.*?class="title">(.*?)</span>.*?'37 + u'<span.*?class="other">(.*?)</span>.*?</a>.*?'38 + u'<div.*?class="bd">.*?<p.*?class="">.*?'39 + u'導演: (.*?) '40 + u'主演: (.*?)<br>'41 + u'(.*?) / (.*?) / '42 + u'(.*?)</p>'43 + u'.*?<div.*?class="star">.*?<em>(.*?)</em>'44 + u'.*?<span>(.*?)人評價</span>.*?<p.*?class="quote">.*?'45 + u'<span.*?class="inq">(.*?)</span>.*?</p>', re.S)46 while self.start <= 225:47 page = self.getPage()48 movies = re.findall(pattern, page)49 for movie in movies:50 self.movieList.append([movie[0], movie[1], movie[2].lstrip(' / '),
51 movie[3].lstrip(' / '), movie[4],
52 movie[5], movie[6].lstrip(), movie[7], movie[8].rstrip(),53 movie[9], movie[10], movie[11]])54 55 def writeTxt(self):56 fileTop250 = open(self.filePath, 'w')57 try:58 for movie in self.movieList:59 fileTop250.write('電影排名：' + movie[0] + '\r\n')60 fileTop250.write('電影名稱：' + movie[1] + '\r\n')61 fileTop250.write('外文名稱：' + movie[2] + '\r\n')62 fileTop250.write('電影別名：' + movie[3] + '\r\n')63 fileTop250.write('導演姓名：' + movie[4] + '\r\n')64 fileTop250.write('參與主演：' + movie[5] + '\r\n')65 fileTop250.write('上映年份：' + movie[6] + '\r\n')66 fileTop250.write('製作國家/地區：' + movie[7] + '\r\n')67 fileTop250.write('電影類別：' + movie[8] + '\r\n')68 fileTop250.write('電影評分：' + movie[9] + '\r\n')69 fileTop250.write('參評人數：' + movie[10] + '\r\n')70 fileTop250.write('簡短影評：' + movie[11] + '\r\n\r\n')71 print '文件寫入成功...'72 finally:73 fileTop250.close()74 75 def main(self):76 print '正在從豆瓣電影Top250抓取數據...'77 self.getMovie()78 self.writeTxt()79 print '抓取完畢...'80 81 DouBanSpider = MovieTop250()82 DouBanSpider.main()
代碼比較簡單，最後將信息寫入一個文件，沒有什麼需要解釋的地方。
Ⅶ 豆瓣電影TOP250是怎麼評出來的為什麼有些分那麼高，在top250中確看不到
根據每個看過和在看的人的打分，按照一定的演算法得出來的，具體演算法不太清楚，但是演算法中肯定包含參與打分的人數（至少三萬人看過），具體分數。所以有些分高的，但是只有幾百或者幾千人看過的不在裡面
Ⅷ 你們都是從哪裡找電影資源的喜歡看豆瓣高分電影，不知道該從哪裡找資源
1、網路「電影天堂」，裡面全是高清電影，可以用迅雷下載。
2、網路「網路網盤搜索」，裡面可以搜索網友的網盤，資源豐富。
3、淘寶電影購票2張可以免費獲得優酷1個月會員，幾乎什麼電影都可以看。
4、還有很多渠道，不一一列舉了。不要問我是誰，古今中外的電影我已經全看完了