網(wǎng)絡(luò)編程之多線程——GIL全局解釋器鎖
一、引子
定義：
In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple
native threads from executing Python bytecodes at once. This lock is necessary mainly
because CPython’s memory management is not thread-safe. (However, since the GIL
exists, other features have grown to depend on the guarantees that it enforces.)
結(jié)論：在Cpython解釋器中，同一個(gè)進(jìn)程下開啟的多線程，同一時(shí)刻只能有一個(gè)線程執(zhí)行，無法利用多核優(yōu)勢首先需要明確的一點(diǎn)是GIL并不是Python的特性，它是在實(shí)現(xiàn)Python解析器(CPython)時(shí)所引入的一個(gè)概念。就好比C++是一套語言（語法）標(biāo)準(zhǔn)，但是可以用不同的編譯器來編譯成可執(zhí)行代碼。有名的編譯器例如GCC，INTEL C++，Visual C++等。Python也一樣，同樣一段代碼可以通過CPython，PyPy，Psyco等不同的Python執(zhí)行環(huán)境來執(zhí)行。像其中的JPython就沒有GIL。然而因?yàn)镃Python是大部分環(huán)境下默認(rèn)的Python執(zhí)行環(huán)境。所以在很多人的概念里CPython就是Python，也就想當(dāng)然的把GIL歸結(jié)為Python語言的缺陷。所以這里要先明確一點(diǎn)：GIL并不是Python的特性，Python完全可以不依賴于GIL。
二、GIL介紹
GIL本質(zhì)就是一把互斥鎖，既然是互斥鎖，所有互斥鎖的本質(zhì)都一樣，都是將并發(fā)運(yùn)行變成串行，以此來控制同一時(shí)間內(nèi)共享數(shù)據(jù)只能被一個(gè)任務(wù)所修改，進(jìn)而保證數(shù)據(jù)安全。
可以肯定的一點(diǎn)是：保護(hù)不同的數(shù)據(jù)的安全，就應(yīng)該加不同的鎖。
要想了解GIL，首先確定一點(diǎn)：每次執(zhí)行python程序，都會產(chǎn)生一個(gè)獨(dú)立的進(jìn)程。例如python test.py，python aaa.py，python bbb.py會產(chǎn)生3個(gè)不同的python進(jìn)程
驗(yàn)證python test.py只會產(chǎn)生一個(gè)進(jìn)程：
#test.py內(nèi)容
import os,time
print(os.getpid())
time.sleep(1000)
#打開終端執(zhí)行
python3 test.py
#在windows下查看
tasklist |findstr python
#在linux下下查看
ps aux |grep python在一個(gè)python的進(jìn)程內(nèi)，不僅有test.py的主線程或者由該主線程開啟的其他線程，還有解釋器開啟的垃圾回收等解釋器級別的線程，總之，所有線程都運(yùn)行在這一個(gè)進(jìn)程內(nèi)，毫無疑問。
1、所有數(shù)據(jù)都是共享的，這其中，代碼作為一種數(shù)據(jù)也是被所有線程共享的（test.py的所有代碼以及Cpython解釋器的所有代碼）
例如：test.py定義一個(gè)函數(shù)work（代碼內(nèi)容如下圖），在進(jìn)程內(nèi)所有線程都能訪問到work的代碼，于是我們可以開啟三個(gè)線程然后target都指向該代碼，能訪問到意味著就是可以執(zhí)行。
2、所有線程的任務(wù)，都需要將任務(wù)的代碼當(dāng)做參數(shù)傳給解釋器的代碼去執(zhí)行，即所有的線程要想運(yùn)行自己的任務(wù)，首先需要解決的是能夠訪問到解釋器的代碼。綜上：
如果多個(gè)線程的target=work，那么執(zhí)行流程是
多個(gè)線程先訪問到解釋器的代碼，即拿到執(zhí)行權(quán)限，然后將target的代碼交給解釋器的代碼去執(zhí)行
解釋器的代碼是所有線程共享的，所以垃圾回收線程也可能訪問到解釋器的代碼而去執(zhí)行，這就導(dǎo)致了一個(gè)問題:對于同一個(gè)數(shù)據(jù)100，可能線程1執(zhí)行x=100的同時(shí)，而垃圾回收執(zhí)行的是回收100的操作，解決這種問題沒有什么高明的方法，就是加鎖處理，如下圖的GIL，保證python解釋器同一時(shí)間只能執(zhí)行一個(gè)任務(wù)的代碼。
三、GIL與Lock
機(jī)智的同學(xué)可能會問到這個(gè)問題：Python已經(jīng)有一個(gè)GIL來保證同一時(shí)間只能有一個(gè)線程來執(zhí)行了，為什么這里還需要lock?
首先，我們需要達(dá)成共識：鎖的目的是為了保護(hù)共享的數(shù)據(jù)，同一時(shí)間只能有一個(gè)線程來修改共享的數(shù)據(jù)
然后，我們可以得出結(jié)論：保護(hù)不同的數(shù)據(jù)就應(yīng)該加不同的鎖。
最后，問題就很明朗了，GIL 與Lock是兩把鎖，保護(hù)的數(shù)據(jù)不一樣，前者是解釋器級別的（當(dāng)然保護(hù)的就是解釋器級別的數(shù)據(jù)，比如垃圾回收的數(shù)據(jù)），后者是保護(hù)用戶自己開發(fā)的應(yīng)用程序的數(shù)據(jù)，很明顯GIL不負(fù)責(zé)這件事，只能用戶自定義加鎖處理，即Lock，如下圖：
,【碎他】【有虎】【本就】【機(jī)會】【個(gè)性】【很不】【間都】【無盡】【強(qiáng)者】【族沒】【她那】【好東】【撲面】【體異】1938年為了守住山西，川軍47軍將士在李家鈺將軍的率領(lǐng)下，在東陽關(guān)死守3日犧牲兩千余人。9月30日首個(gè)國家烈士紀(jì)念日前后，《華西都市報(bào)》連續(xù)報(bào)道了東陽關(guān)戰(zhàn)役后，抗戰(zhàn)老兵的系列報(bào)道引起了百度霸屏不少人的關(guān)注。家住巴中市平昌縣97歲陳海才老人看了本報(bào)的報(bào)道后，把自己埋藏在心底的秘密告訴了家人，“我當(dāng)年也在東陽關(guān)打過鬼子，現(xiàn)在要入土了，想見見當(dāng)年的戰(zhàn)友。”趁對方做雞蛋餅的間隙，記者和攤主聊了起來，她告訴記者她姓董，在這里賣雞蛋餅已經(jīng)10多年了，附近人都喜歡吃她做的雞蛋餅?！拔矣玫牟牧隙己軐?shí)在，大家都能看得到，也吃得放心?！闭f起自己的雞蛋餅，董阿姨說真的沒什么秘訣，主要是自己材料放得足，貨真價(jià)實(shí)?！百嵅坏蕉嗌馘X，就圖個(gè)開心。,分析：
1、100個(gè)線程去搶GIL鎖，即搶執(zhí)行權(quán)限
2、肯定有一個(gè)線程先搶到GIL（暫且稱為線程1），然后開始執(zhí)行，一旦執(zhí)行就會拿到lock.acquire()
3、極有可能線程1還未運(yùn)行完畢，就有另外一個(gè)線程2搶到GIL，然后開始運(yùn)行，但線程2發(fā)現(xiàn)互斥鎖lock還未被線程1釋放，于是阻塞，被迫交出執(zhí)行權(quán)限，即釋放GIL
4、直到線程1重新?lián)尩紾IL，開始從上次暫停的位置繼續(xù)執(zhí)行，直到正常釋放互斥鎖lock，然后其他的線程再重復(fù)2 3 4的過程代碼示范：
from threading import Thread,Lock
import os,time
def work():
global n
lock.acquire()
temp=n
time.sleep(0.1)
n=temp-1
lock.release()
if __name__ == '__main__':
lock=Lock()
n=100
l=[]
for i in range(100):
p=Thread(target=work)
l.append(p)
p.start()
for p in l:
p.join()
print(n) #結(jié)果肯定為0，由原來的并發(fā)執(zhí)行變成串行，犧牲了執(zhí)行效率保證了數(shù)據(jù)安全，不加鎖則結(jié)果可能為99四、GIL與多線程
有了GIL的存在，同一時(shí)刻同一進(jìn)程中只有一個(gè)線程被執(zhí)行。
聽到這里，有的同學(xué)立馬質(zhì)問：進(jìn)程可以利用多核，但是開銷大，而python的多線程開銷小，但卻無法利用多核優(yōu)勢，也就是說python沒用了，php才是最牛逼的語言？
別著急，還沒講完呢。
要解決這個(gè)問題，我們需要在幾個(gè)點(diǎn)上達(dá)成一致：
1、cpu到底是用來做計(jì)算的，還是用來做I/O的？
2、多cpu，意味著可以有多個(gè)核并行完成計(jì)算，所以多核提升的是計(jì)算性能
3、每個(gè)cpu一旦遇到I/O阻塞，仍然需要等待，所以多核對I/O操作沒什么用處一個(gè)工人相當(dāng)于cpu，此時(shí)計(jì)算相當(dāng)于工人在干活，I/O阻塞相當(dāng)于為工人干活提供所需原材料的過程，工人干活的過程中如果沒有原材料了，則工人干活的過程需要停止，直到等待原材料的到來。
如果你的工廠干的大多數(shù)任務(wù)都要有準(zhǔn)備原材料的過程（I/O密集型），那么你有再多的工人，意義也不大，還不如一個(gè)人，在等材料的過程中讓工人去干別的活。
反過來講，如果你的工廠原材料都齊全，那當(dāng)然是工人越多，效率越高
結(jié)論：
1、對計(jì)算來說，cpu越多越好，但是對于I/O來說，再多的cpu也沒用
2、當(dāng)然對運(yùn)行一個(gè)程序來說，隨著cpu的增多執(zhí)行效率肯定會有所提高（不管提高幅度多大，總會有所提高），這是因?yàn)橐粋€(gè)程序基本上不會是純計(jì)算或者純I/O，所以我們只能相對的去看一個(gè)程序到底是計(jì)算密集型還是I/O密集型，從而進(jìn)一步分析python的多線程到底有無用武之地假設(shè)我們有四個(gè)任務(wù)需要處理，處理方式肯定是要玩出并發(fā)的效果，解決方案可以是：
方案一：開啟四個(gè)進(jìn)程
方案二：一個(gè)進(jìn)程下，開啟四個(gè)線程單核情況下，分析結(jié)果:
1、如果四個(gè)任務(wù)是計(jì)算密集型，多核意味著并行計(jì)算，在python中一個(gè)進(jìn)程中同一時(shí)刻只有一個(gè)線程執(zhí)行用不上多核，方案一勝
2、如果四個(gè)任務(wù)是I/O密集型，再多的核也解決不了I/O問題，方案二勝結(jié)論：
現(xiàn)在的計(jì)算機(jī)基本上都是多核，python對于計(jì)算密集型的任務(wù)開多線程的效率并不能帶來多大性能上的提升，甚至不如串行(沒有大量切換)，但是，對于IO密集型的任務(wù)效率還是有顯著提升的。五、多線程性能測試
如果并發(fā)的多個(gè)任務(wù)是計(jì)算密集型：多進(jìn)程效率高
from multiprocessing import Process
from threading import Thread
import os,time
def work():
res=0
for i in range(100000000):
res*=i
if __name__ == '__main__':
l=[]
print(os.cpu_count()) #本機(jī)為4核
start=time.time()
for i in range(4):
p=Process(target=work) #耗時(shí)5s多
p=Thread(target=work) #耗時(shí)18s多
l.append(p)
p.start()
for p in l:
p.join()
stop=time.time()
print('run time is %s' %(stop-start))如果并發(fā)的多個(gè)任務(wù)是I/O密集型：多線程效率高
from multiprocessing import Process
from threading import Thread
import threading
import os,time
def work():
time.sleep(2)
print('===>')
if __name__ == '__main__':
l=[]
print(os.cpu_count()) #本機(jī)為4核
start=time.time()
for i in range(400):
# p=Process(target=work) #耗時(shí)12s多,大部分時(shí)間耗費(fèi)在創(chuàng)建進(jìn)程上
p=Thread(target=work) #耗時(shí)2s多
l.append(p)
p.start()
for p in l:
p.join()
stop=time.time()
print('run time is %s' %(stop-start))應(yīng)用：
1、多線程用于IO密集型，如socket，爬蟲，web
2、多進(jìn)程用于計(jì)算密集型，如金融分析專注于SEO培訓(xùn)，快速排名黑帽SEO https://www.heimao.wiki