当前位置:天才代写 > tutorial > Python教程 > Python大数据习题:如何抓取豆瓣上的电影

Python大数据习题:如何抓取豆瓣上的电影

2018-05-23 08:00 星期三 所属: Python教程 浏览:993

现在到处都说“大数据”,我也跟着标题党一下。今天要说的这个,还算不上大数据,只能说跟以前的习题相比,数据量略大了一点。

前阵子我们做了个抓取热映电影的程序。有个朋友看到了就说,他正好需要一项数据:豆瓣上的电影按评价人数从高到底排序视频教程。他认为,单是评分高低并不能说明一部电影的受关注度,比如有些分超低的奇葩大烂片照样火得很。但豆瓣本身并没有提供类似的功能。所以他想找我帮忙。我说你要排出多少?他说三千部。我说你这是要开录像厅吗!一天看一部也得看个八、九年。他说这你甭管,我这是要用来做决策参考的。

我想了想,觉得这事也不是太难搞定,只是有些复杂,要处理几个问题。不过这倒是一个用来练手的好题目。于是秉着授人以鱼不如授人以渔的原则,我决定把这个问题整理一下,抛给大家。

问题描述:
抓取豆瓣上的电影,按评价人数从高到低排序,列出前3000部。
每部电影显示名称、评价人数、豆瓣评分、豆瓣链接。

问题分析:
基本思路是:1.抓下所有的电影;2.按评价人数排序

然而豆瓣上并没有提供“所有电影”这样一个列表,也没有一个全覆盖的分类,有的只是:标签。

http://movie.douban.com/tag/?view=type

这个页面就是豆瓣的标签页面,上面列出了常用的标签。但一个电影可能有很多个标签,也可能不含有这里列出的标签。另外我尝试了下在线学习,每个标签只能显示前50页也就是1000部电影。

所以我想到的方法就是:先抓取这个页面上的所有标签,然后进入每个标签页的前50页抓取电影列表。我们要的信息列表页上都已经有了,不用再进入影片页面。但在记录电影的时候,需要去除重复。已经记录下的电影就不再重复记录。这个操作可以在抓取的时候进行,也可以先全部抓取,再去重。

这样做其实未必能抓到所有电影,不过对于我们这种精确度不需要很高的需求来说,应该足够了。

得到所有影片的信息之后,接下来排序就比较容易了。Python中提供了sort方法。但这里可能遇到的问题是,影片数量太多,导致读写和排序都很慢。一个供参考的优化方法是:在抓取的时候就分段存储,预先给评价人数设定一些值,按这些值来存储不同级别的电影。最后排序的时候可以每一段分别排序,而如果高评价人数的电影已经超过三千部,就无需再排后面的影片。

结果展示:
最后的结果建议保存成一个html文件,并且把影片的豆瓣地址做成链接。这样在浏览器中查看的时候,就可以直接链接到对应的豆瓣页面上。

你还可以增加一些数据统计,比如评价人数的分布,评分的分布,评价人数与评分的关系等。对Web开发熟悉的同学,甚至可以把这些数据做成一个小网站技能培训,用来对豆瓣电影进行多维的搜索排序,成为一个个性化的电影推荐应用。
文章来源于Crossin,由课课家平台整理,转载请注明。

 

    关键字:

天才代写-代写联系方式