① Python爬蟲如何避免爬取網站訪問過於頻繁
一. 關於爬蟲
爬蟲，是一種按照一定的規則自動地抓取互聯網信息的程序。本質是利用程序獲取對我們有利的數據。
反爬蟲，從不是將爬蟲完全杜絕；而是想辦法將爬蟲的訪問量限制在一個可接納的范圍，不要讓它過於頻繁。
二. 提高爬蟲效率的方法
協程。採用協程，讓多個爬蟲一起工作，可以大幅度提高效率。
多進程。使用CPU的多個核，使用幾個核就能提高幾倍。
多線程。將任務分成多個，並發（交替）的執行。
分布式爬蟲。讓多個設備去跑同一個項目，效率也能大幅提升。
打包技術。可以將python文件打包成可執行的exe文件，讓其在後台執行即可。
其他。比如，使用網速好的網路等等。
三. 反爬蟲的措施
限制請求頭，即request header。解決方法：我們可以填寫user-agent聲明自己的身份，有時還要去填寫origin和referer聲明請求的來源。
限制登錄，即不登錄就不能訪問。解決方法：我們可以使用cookies和session的知識去模擬登錄。
復雜的交互，比如設置「驗證碼」來阻攔登錄。這就比較難做，解決方法1：我們用Selenium去手動輸入驗證碼；方法2：我們用一些圖像處理的庫自動識別驗證碼（tesserocr/pytesserart/pillow）。
ip限制。如果這個IP地址，爬取網站頻次太高，那麼伺服器就會暫時封掉來自這個IP地址的請求。 解決方法：使用time.sleep()來對爬蟲的速度進行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。
② 如何爬取別人網站的視頻資源放到自己的網站
通過視頻的URL，使用KeepVid能從YouTube獲取到視頻文件，而且提供多種格式的視頻文件形式下載。
目前支持的視頻網站有(其中就有我朝的tudou)：
youtube.com（youtu.be）
megavideo.com
dailymotion.com
twitvid.com
tudou.com
videoweed.es
stagevu.com
vbox7.com
zshare.net
v.9you.com
altervideo.net
clip.vn
divxstage.eu
Java applet做的，研究研究對你應該有幫助。
KeepVidDownloader.java
③ Win7下如何實現連接到不同網路自動切換代理Pac腳本
PAC的配置方法非常簡單，不需要安裝任何軟體或插件，只需用記事本建立一個腳步文件即可，我們可以把這個文件保存在硬碟的任何位置，也可以保存在伺服器上，然後打開Internet選項 - 進入 連接 選項卡 - 點擊區域網選項 - 選中 使用自動配置腳本 選項 - 在地址裡面填入你的文件位置，比如files://d:/goagent.pac ，即可完成配置。
④ 怎樣避開豆瓣對爬蟲的封鎖，從而抓取豆瓣上電影內容
用前嗅的ForeSpider數據採集軟體可以採集，我之前采過豆瓣的影評，可以設置各種過濾規律，比如我只要豆瓣評分6.0以上的電影，就可以精確的過濾。ForeSpider可以智能模擬瀏覽器和用戶行為，突破反爬蟲限制。可以設置代理IP，並且可以自動過濾優質IP代理，提高使用代理的速度。
對於一些高難度的網站，反爬蟲措施比較多，可以使用ForeSpider內部自帶的爬蟲腳本語言系統，簡單幾行代碼就可以採集到高難度的網站。
可以去下載免費版，免費版不限制採集功能。有詳細的操作手冊可以學習。如果自己不想學習，可以讓前嗅進行配置。
而且客服可以教你怎樣用，有問題出錯了客服會遠程操作，非常好的服務態度。
⑤ 請問對於爬蟲程序，因為對於不同的網站，想要爬取的數據是不同的，難道每換一個網站就要重新寫程序嗎
爬蟲程序是依據HTML語言來編寫的，而不管你什麼網站，除了純flash的網站，都是使用html語言編寫的，只是遵循的規范不同。
⑥ 有沒有看新聞的視頻網站，如果是一段一段的視頻最好可以自動切換，謝謝！！！
有看新聞的視頻網站：http://news.joy.cn/
不過沒有一段一段的視頻最好可以自動切換的。這個網上還沒人去做吧。呵呵！
⑦ 用什麼腳本程序或者語言適合批量爬取不同的網頁信息
很多語言都行，但不用編程，沒轍
⑧ 如何採集指定網站電影
這個肯定要使用採集器的，比如火車頭。你可以試試
⑨ 我有一個網站，自動採集網上的電影信息，並有鏈接跳轉到其他網站上觀看。那我這個網站算犯法嗎
依據該法條的精神，一般是接到通知後立即刪除。這樣才符合及時採取必要措施的法律本意。
⑩ 如何爬取URL不變的網站內容
步驟如下：1、下載數據採集工具 2、輸入你要採集的網址，等它自動識別，然後點擊啟動，然後等採集完，免費導出結果 3、如果搞不定，看一下官網視頻手把手講解視頻（免費的），預計花費幾十分鍾 4、重復步驟2，遇到問題稍作手動修改