简短的爬虫程序，14行Python代码轻松实现爬取网站视频
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者： IvanFX 复兴计算机社团
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef
调试环境：
pycharm+python3
需要库：
- urllib.
- request
- re
(http.cookiejar 后续爬虫进场会使用到的库，本项目反爬不涉及所以可以不添加)
如果import过程显示没有上述库，可以通过文件→设置→projet interpreter中右侧点击+来添加（如果您使用anaconda或者python也可以直接运行本项目，通过cmd→pip install添加）
2.在本文中我们通过python对于在线的短视频进行爬取，下载存储。基本步骤如下（可以写注释梳理思路）：
（1）分析页面URL和视频文件URL特征 （2）获取网页源代码HTML，解决反爬机制 （3）批量下载视频存储
1.分析网页URL
通过网页网址：http://www.budejie.com/video/1，我们可以发现针对不同页码变化的知识网址最后一个数值，而这个数值代表了页数，所以只需要改变为固定网址+变量的形式批量获取该站的网址URL
2.分析文件名URL
通过对于网页当中的mp4的文件名进行分析，发现文件的URL是明文显示的，所以通过re的正则可以匹配获取。
1.批量爬取网页URL
这里我们page变量代表页面的编码，从这里我们暂时先爬取前20页。
（1）req获取网页反馈 （2）html通过函数获取网页的元代码 （3）通过对于源代码UTF-8编码恢复中文的显示。
但是通过上述代码的执行发现错误显示http Error 403，因为网页的反爬机制不能获取。
2.通过页面增加头文件
我们通过谷歌浏览器访问页面，按F12并切换到Network，刷新界面观察访问进程，可以从进程文件中选取一个查看头文件，添加到代码中,（这里选取的baisibudejie.js）修改代码如下，可以正常爬取界面。
1.建立循环结构批量命名
建立循环结构之后，需要保留文件名下载，i.split(\”/\”)[-1]的含义是将i进行分割，以‘/’为分割符，保留最后一段，即MP4文件名。
2.批量下载
还是需要加一句显示的输出语句，来表示进程，也符合一个程序的交互性，也就是下载到那个视频的时候显示一下进度，最后下载到一个mp4的文件夹内
1.建立完整程序
作为一名合格的程序员，需要梳理程序，添加注释，便于理解和后续的修改
如何下载steam平台的游戏官方视频？3个步骤一看就懂！
很多游戏爱好者或自媒体朋友们，经常要到处寻找游戏视频素材，那我们常用的steam平台上各种各样的游戏视频，能否拷贝下来直接使用呢？
答案当然是可以！今天KK就教大家如何下载steam平台的游戏官方视频。
第一步：进入steam官方主页
由于steam是一个国外的游戏平台，所以我们在国内登陆的时候会比较卡顿，常常点击页面就404了。
所以这里还有一招：使用游戏加速器给steam加速，再来打开steam网页就非常流畅了。这里我使用的是雷神加速器。
如果你没有使用过，或者没有加速时长也没关系，可以在雷神客户端用大写K888领取50小时免费时长，具体方法我也分享出来，如下图↓↓↓
接下来你就可以非常流畅的进入到steam官方主页了，然后选择你想要下载视频的游戏。
这里我们以《幻兽帕鲁》为例
第二步：查看视频源代码
点击到游戏介绍界面后，一般视频会自动播放，将你的鼠标移动到视频进度条上，并点击右键，选择“查看源代码”。
记得鼠标一定要放在进度条上
在源代码页面，按住Ctrl+F键，即可查找页面关键词，在文字框里输入“MP4”，按回车，就会看到，页面里含有MP4格式的链接被标黄了。这时，我们要选择其中一条引号里的链接，并复制它。
一定要复制引号里的全部链接
第三步：保存文件到本地
将上面复制的链接，在浏览器新页面打开，即会播放刚刚你选择的视频，这时鼠标放在视频上，点击右键“将视频另存为”，就能保存文件到本地了。
小编寄语：
以上就是关于如何下载steam上官方游戏视频的攻略了，
如果你觉得对你有帮助，麻烦给个赞，
如果下载遇到任何问题，记得在评论区告诉我，
如果玩游戏遇到卡顿，也可以用大写K888领取雷神加速器免费时长，
关注KK ，了解更多游戏资讯、游戏攻略。
本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com
文章为作者独立观点不代本网立场，未经允许不得转载。
投诉举报&联系我们：
