① Python爬虫如何避免爬取网站访问过于频繁
一. 关于爬虫
爬虫，是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。
反爬虫，从不是将爬虫完全杜绝；而是想办法将爬虫的访问量限制在一个可接纳的范围，不要让它过于频繁。
二. 提高爬虫效率的方法
协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。
多进程。使用CPU的多个核，使用几个核就能提高几倍。
多线程。将任务分成多个，并发（交替）的执行。
分布式爬虫。让多个设备去跑同一个项目，效率也能大幅提升。
打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。
其他。比如，使用网速好的网络等等。
三. 反爬虫的措施
限制请求头，即request header。解决方法：我们可以填写user-agent声明自己的身份，有时还要去填写origin和referer声明请求的来源。
限制登录，即不登录就不能访问。解决方法：我们可以使用cookies和session的知识去模拟登录。
复杂的交互，比如设置“验证码”来阻拦登录。这就比较难做，解决方法1：我们用Selenium去手动输入验证码；方法2：我们用一些图像处理的库自动识别验证码（tesserocr/pytesserart/pillow）。
ip限制。如果这个IP地址，爬取网站频次太高，那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法：使用time.sleep()来对爬虫的速度进行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。
② 如何爬取别人网站的视频资源放到自己的网站
通过视频的URL，使用KeepVid能从YouTube获取到视频文件，而且提供多种格式的视频文件形式下载。
目前支持的视频网站有(其中就有我朝的tudou)：
youtube.com（youtu.be）
megavideo.com
dailymotion.com
twitvid.com
tudou.com
videoweed.es
stagevu.com
vbox7.com
zshare.net
v.9you.com
altervideo.net
clip.vn
divxstage.eu
Java applet做的，研究研究对你应该有帮助。
KeepVidDownloader.java
③ Win7下如何实现连接到不同网络自动切换代理Pac脚本
PAC的配置方法非常简单，不需要安装任何软件或插件，只需用记事本建立一个脚步文件即可，我们可以把这个文件保存在硬盘的任何位置，也可以保存在服务器上，然后打开Internet选项 - 进入 连接 选项卡 - 点击局域网选项 - 选中 使用自动配置脚本 选项 - 在地址里面填入你的文件位置，比如files://d:/goagent.pac ，即可完成配置。
④ 怎样避开豆瓣对爬虫的封锁，从而抓取豆瓣上电影内容
用前嗅的ForeSpider数据采集软件可以采集，我之前采过豆瓣的影评，可以设置各种过滤规律，比如我只要豆瓣评分6.0以上的电影，就可以精确的过滤。ForeSpider可以智能模拟浏览器和用户行为，突破反爬虫限制。可以设置代理IP，并且可以自动过滤优质IP代理，提高使用代理的速度。
对于一些高难度的网站，反爬虫措施比较多，可以使用ForeSpider内部自带的爬虫脚本语言系统，简单几行代码就可以采集到高难度的网站。
可以去下载免费版，免费版不限制采集功能。有详细的操作手册可以学习。如果自己不想学习，可以让前嗅进行配置。
而且客服可以教你怎样用，有问题出错了客服会远程操作，非常好的服务态度。
⑤ 请问对于爬虫程序，因为对于不同的网站，想要爬取的数据是不同的，难道每换一个网站就要重新写程序吗
爬虫程序是依据HTML语言来编写的，而不管你什么网站，除了纯flash的网站，都是使用html语言编写的，只是遵循的规范不同。
⑥ 有没有看新闻的视频网站，如果是一段一段的视频最好可以自动切换，谢谢！！！
有看新闻的视频网站：http://news.joy.cn/
不过没有一段一段的视频最好可以自动切换的。这个网上还没人去做吧。呵呵！
⑦ 用什么脚本程序或者语言适合批量爬取不同的网页信息
很多语言都行，但不用编程，没辙
⑧ 如何采集指定网站电影
这个肯定要使用采集器的，比如火车头。你可以试试
⑨ 我有一个网站，自动采集网上的电影信息，并有链接跳转到其他网站上观看。那我这个网站算犯法吗
依据该法条的精神，一般是接到通知后立即删除。这样才符合及时采取必要措施的法律本意。
⑩ 如何爬取URL不变的网站内容
步骤如下：1、下载数据采集工具 2、输入你要采集的网址，等它自动识别，然后点击启动，然后等采集完，免费导出结果 3、如果搞不定，看一下官网视频手把手讲解视频（免费的），预计花费几十分钟 4、重复步骤2，遇到问题稍作手动修改