pycharm怎么新建一个scrapy项目

scrapy是一个用python编写的爬虫系统，通过scrapy的二次开发，您几乎可以爬取世界上90%以上的网站。下面我简单介绍下scrapy系统的安装与工程的创建。

工具/原料

scrapy

pycharm

scrapy安装

1、由于scrapy是使用python语言编写的爬虫系统，因此它很自然是可以通过pip安装的。在bash或者cmd中输入： pip install scrapy就可以安装scrapy了。

2、然后等待scrapy将所有依赖包安装完成。查看scrapy版本，目前最新的版本是v1.4.0版本

3、安装virtualenv（可选）这里我还安装了virtualenv。virtualenv是一个提供独立的python开发环境的工具。例如你某个scrapy工程依赖的是python2.7，而另一个依赖的是python 3.5，那么这个工具就非常有用了。

创建scrapy工程

1、使用scrapy startproject创建工程。安装scrapy后，就可以使用startproject指令创建你的scrapy工程了这里，我在终端输入了scrapy startproject quotes指令创建了一个quotes工程

2、创建工程后，你会发现工程下面已经创建了如下文件：.├── quotes│ ├── __init__.py│ ├── items.py│ ├── middlewares.py│ ├── pipelines.py│ ├── settings.py│ └── spiders└── scrapy.cfg下面你要做的就是创建spider类爬取目标网站。

3、使用pycharm打开scrapy工程。

4、在sprides包中创建你的sprider这里我参照官方教程创建了一个简单quotes类

5、运行scrapy在pycharm中输入scrapy crawl quotes运行你得爬虫系统