本文作者：张雷豪，中南财经政法大学统计与数学学院

本文编辑：赵一帆

技术总编：王子一

在执行单线程爬虫任务时，一般很少需要考虑变量的作用域问题。而在多线程程序中，由于各个线程是并行执行的，可能出现同时多个线程需要对变量进行修改的情形，因此我们要考虑线程间变量的传输与通信问题。

最常见也是最简单的方法是利用全局变量，只需在各个线程中声明全局变量，即可实现线程间的变量传递。下面是一个简单的例子：

运行结果如下：

可以看到，线程一首先对全局变量g_num进行了操作，接着线程二再对g_num进行修改，从而实现了线程间参数的传递。值得注意的是，在程序中需要在每个子线程中对全局变量进行声明，不然变量的作用域仍然是函数内。

回到开始的两个问题，第一个问题的答案是显而易见的，声明全局变量的原因是在线程间进行通信，方便数据的存储。但是为什么要在最后对数据进行排序呢？答案是：由于线程可以对全局变量随意修改，这就可能造成多线程之间对全局变量使用的混乱。线程锁可以较好地解决这个问题。

在介绍线程锁之前，我们先来看一个简单的例子：

这是一个两线程程序，首先声明全局变量n，接着两个子线程同时对n进行操作，我们希望线程一结束后n=1000000，线程二结束后n=2000000，事实果真如此吗？我们来看运行结果：

事实上，由于两个线程同时对全局变量n进行操作，程序的运行结果出现混乱，如何解决这个问题呢？一个防止他人进入房间的简单方法，就是门上加一把锁。先到的人锁上门，后到的人就在门口排队，等锁打开再进去。在Python的threading模块，也提供了类似门锁功能的类——threading.Lock。

某个线程要更改共享数据时，Lock先将其锁定，其他线程不能更改；直到该线程释放资源，其他的线程才能再次锁定该资源。线程锁保证了每次只有一个线程进行写入操作，从而保证了多线程情况下数据的正确性。

threading.Lock的使用非常简单，只需先利用threading.Lock()创建锁对象，然后分别使用acquire()和release()获取和释放一个锁定，acquire()和release()必须成对出现。下面我们对程序加锁：

process_1()首先获取线程锁，对n进行操作，直到process_1()释放线程锁，process_2()才可以获取线程锁并继续运行。程序的运行结果如下：

需要注意的是，使用线程锁时，要避免死锁。在多任务系统下，当一个或多个线程等待系统资源，而资源又被线程本身或其他线程占用时，就形成了死锁。

除了使用全局变量，Python中的queue模块还提供了Queue队列来实现线程间通信。Queue中提供了同步的、线程安全的队列类，包括FIFO(先入先出)队列，LIFO(后入先出)队列和优先级队列。

Queue的常用方法如下：

Queue()：创建FIFO队列。

Queue.qsize()：返回队列的大小。

Queue.empty()：如果队列为空，返回True，反之False。

Queue.get()：获取队列。

Queue.put()：写入队列。

Queue.task_done()：在完成一项工作之后，Queue.task_done()函数向任务已经完成的队列发送一个信号。每个get()调用得到一个任务，接下来task_done()调用告诉队列该任务已经处理完毕。

Queue.join()：实际上意味着等到队列为空，再执行别的操作

利用Queue模块，我们可以将上期推文中的爬虫程序改写为生产者消费者模式，从而实现线程间的安全通信。下面附上完整代码：