如何写python爬虫

1、第一步，打开pycharm并建立一个新的python文件spider.py

2、第二步，检查requests库和beautifulsoup库有没有安装。如果没有，可以在cmd命令行或者pycharm的Terminal用pip install requests和pip install beautifulsoup4进行下载

3、第三步，导入requests和beautifulsoup

4、第四步，编写主程序导入要爬取的url（以https://www.baidu.com为例），并写入headers请求头

5、第五步，编写get_html(url)函数获取要爬取的网页，运行程序如果结果为200，则爬取成功

6、第六步，编写parse_html(html)函数解析爬取页面

7、最后附上爬虫源码