版权声明：本文为博主原创文章，遵循 版权协议，转载请附上原文出处链接和本声明。

      一提到爬虫，大多数同学都想到的是Python，今天小千就给大家上一下不同的菜，利用js制作一个爬虫，Python用腻了来试试js吧。

      最近娱乐圈比较的火的算是郑爽事件了，作为一名程序猿如何能或者最新的娱乐热点新闻呢？ 今天咱们就用js做一个网络爬虫，来爬取一个网站的新闻数据。

      网络爬虫，又称为网页蜘蛛，网络机器人，意思是我们通过程序去搜集网络上某些网站的数据。典型的通过爬虫获取数据的网站，比如百度、谷歌等搜索引擎。还有一些新闻聚合类网站，比如今日头条等网站。之前淘宝的一淘，返利网等网站都是利用了爬虫技术去获取别人网站的一些信息。 爬虫也不能乱用，无限制的去爬取一个网站的信息，那样会导致人家公司服务器压力比较大。之前有句爬虫界比较流行的话：爬虫玩的好,监狱进的早;数据玩的溜,牢饭吃个够！做技术的要有自己的底线，之前有程序员用爬虫为公司做了一些工作，结果公司被诉讼，程序猿被带走！

      为了防止出一些意外，首先我们可以访问你要爬取的目标网站的robots协议。 robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络爬虫：此网站中的哪些内容是不应被爬虫获取的，哪些是可以被爬虫获取的。参考robots.txt去爬取数据，再设置一下间歇时间，不会有人在意的。

      红色部分是关键，所有的网页都不能被爬取！！有句话不知当讲不当讲！

      看看我们的今天要爬取的网页地址，我们今天要爬取的网页后缀名不是html！！！

      安装cheerio cheerio 是一的用法跟jQuery的用法差不多。 就是先将页面的数据load进来形成一个特定的数据格式，然后通过类似jq的语法，对数据进行解析处理。 终端中输入

      网页的数据已经获取到了，然后我们就可以使用jquery的语法获取页面中的数据了。 下面我们分析一下页面的结构

      可以看到页面中所有的新闻标题都在a标签中，类名是truetit。然后我们就可以使用jq的选择器获取页面中所有类名为truetit的元素。

      这样每次执行就可以获取最新的娱乐新闻，不需要打开网页就可以获取到，当然我们只是获取了第一页的数据，你也可以获取第二页、第三页等其他页面的数据。 我们现在相当于只获取了一个网站的娱乐数据，如果你再分析一些其他的网站，获取一些其他的网站的数据，然后把数据都存储起来，自己就可以做一个只显示娱乐新闻的网站了！

首先声明 下面这几行代码在命令行和eclipse下都能正常运行

我能找到的问题就到这了，，接下来也不知道该怎么解决 ，求大神啊！！！

我只能做到这个程度了，至于为什么会是这样，为什么那个If语句在起作用，这和pycharm有什么关系，我都不知道了，所以求大神指点啊，说一下所以然，其中的原理是什么，应该怎么弄才能在pycharm中正常运行，因为源码在命令行和eclipse中都是正常的。