Python爬虫常用库的安装

Urllib、re是自带的库，而requests库可使用pip3 install requests安装

>>> import urllib

>>> import urllib.request

>>> import re

pip3 install requests

>>> import requests

>>> requests.get('http://www.baidu.com')

<Response [200]>

selenium  JS渲染时使用的库

Selenium 是为了测试而出生的. 但是没想到到了爬虫的年代, 它摇身一变, 变成了爬虫的好工具. 让我试着用一句话来概括 Seleninm: 它能控制你的浏览器, 有模有样地学人类”看”网页.

pip3 install selenium

import selenium

from selenium import webdriver

driver = webdriver.Chrome()    #执行报错，原因是没有安装Chromedriver

打开谷歌搜索Chromedriver，第一个就是，点击Chromedriver2.41

继续点击Chromedriver2.41

找到对应平台即可下载：

即以下地址：https://chromedriver.storage.googleapis.com/index.html?path=2.41/

>>>from selenium import webdriver

>>>driver = webdriver.Chrome()   #执行报错，有可能是由于谷歌版本与chromedriver不相符，如无报错，即可打开浏览器

>>> driver.get('http://www.baidu.com')

>>> driver.get('http://www.zhihu.com')

>>> driver.get('http://www.jianshu.com')

>>> driver.get('https://www.python.org')     #即可打开相应的网站

>>> driver.page_source          #打印网页源代码

#打印出jianshu源代码

Phantomjs（无界面浏览器）

pip3 install phantomjs

官网：http://phantomjs.org/download.html

https://bitbucket.org/ariya/phantomjs/downloads/

下载下来需要配置环境变量，然后即可完成代码编写！

C:\Users\Administrator\AppData\Local\Programs\Python\Python36\Scripts\phantomjs-2.1.1-windows\bin

C:\Users\Administrator>phantomjs

phantomjs> console.log('hello,world!')

hello,world!

undefined

phantomjs>

C:\Users\Administrator>pip3 install pyquery

Collecting pyquery

  Downloading https://files.pythonhosted.org/packages/09/c7/ce8c9c37ab8ff8337faad3335c088d60bed4a35a4bed33a64f0e64fbcf29/pyquery-1.4.0-py2.py3-none-any.whl

Collecting cssselect>0.7.9 (from pyquery)

  Downloading https://files.pythonhosted.org/packages/7b/44/25b7283e50585f0b4156960691d951b05d061abf4a714078393e51929b30/cssselect-1.0.3-py2.py3-none-any.whl

Requirement already satisfied: lxml>=2.1 in c:\users\administrator\appdata\local\programs\python\python36\lib\site-packages (from pyquery) (4.2.4)

Installing collected packages: cssselect, pyquery

Successfully installed cssselect-1.0.3 pyquery-1.4.0

打开CMD直接输入：

pip3 install pymysql

pip3 install pymongo

pip3 install flask

pip3 install Django

pip3 install jupyter