分布式鎖
什么是分布式鎖？
分布式鎖是控制分布式系統(tǒng)之間同步訪問共享資源的一種方式。
為什么要使用分布式鎖？
? 為了保證共享資源的數(shù)據(jù)一致性。
什么場(chǎng)景下使用分布式鎖？
? 數(shù)據(jù)重要且要保證一致性
如何實(shí)現(xiàn)分布式鎖？
主要介紹使用redis來實(shí)現(xiàn)分布式鎖
redis事務(wù)
redis事務(wù)介紹：
? 1.redis事務(wù)可以一次執(zhí)行多個(gè)命令，本質(zhì)是一組命令的集合。
? 2.一個(gè)事務(wù)中的所有命令都會(huì)序列化，按順序串行化的執(zhí)行而不會(huì)被其他命令插入
? **作用：**一個(gè)隊(duì)列中，一次性、順序性、排他性的執(zhí)行一系列命令
multi指令的使用
1. 下面指令演示了一個(gè)完整的事物過程，所有指令在exec前不執(zhí)行，而是緩存在服務(wù)器的一個(gè)事物隊(duì)列中
2. 服務(wù)器一旦收到exec指令才開始執(zhí)行事物隊(duì)列，執(zhí)行完畢后一次性返回所有結(jié)果
3. 因?yàn)閞edis是單線程的，所以不必?fù)?dān)心自己在執(zhí)行隊(duì)列是被打斷，可以保證這樣的“原子性”
注：redis事物在遇到指令失敗后，后面的指令會(huì)繼續(xù)執(zhí)行
|
1
2
3
4
5
6
|
# Multi 命令用于標(biāo)記一個(gè)事務(wù)塊的開始事務(wù)塊內(nèi)的多條命令會(huì)按照先后順序被放進(jìn)一個(gè)隊(duì)列當(dāng)中，最后由 EXEC 命令原子性( atomic )地執(zhí)行> multi（開始一個(gè)redis事物）incr booksincr books> exec （執(zhí)行事物）> discard （丟棄事物） |
注：mysql的rollback與redis的discard的區(qū)別
mysql回滾為sql全部成功才執(zhí)行,一條sql失敗則全部失敗,執(zhí)行rollback后所有語句造成的影響消失
redis的discard只是結(jié)束本次事務(wù),正確命令造成的影響仍然還在.
1）redis如果在一個(gè)事務(wù)中的命令出現(xiàn)錯(cuò)誤，那么所有的命令都不會(huì)執(zhí)行；
2）redis如果在一個(gè)事務(wù)中出現(xiàn)運(yùn)行錯(cuò)誤，那么正確的命令會(huì)被執(zhí)行。
watch 指令作用
實(shí)質(zhì)：WATCH 只會(huì)在數(shù)據(jù)被其他客戶端搶先修改了的情況下通知執(zhí)行命令的這個(gè)客戶端（通過 WatchError 異常）但不會(huì)阻止其他客戶端對(duì)數(shù)據(jù)的修改
1. watch其實(shí)就是redis提供的一種樂觀鎖，可以解決并發(fā)修改問題
2. watch會(huì)在事物開始前盯住一個(gè)或多個(gè)關(guān)鍵變量，當(dāng)服務(wù)器收到exec指令要順序執(zhí)行緩存中的事物隊(duì)列時(shí)，redis會(huì)檢查關(guān)鍵變量自watch后是否被修改
3. WATCH 只會(huì)在數(shù)據(jù)被其他客戶端搶先修改了的情況下通知執(zhí)行命令的這個(gè)客戶端（通過 WatchError 異常）但不會(huì)阻止其他客戶端對(duì)數(shù)據(jù)的修改
watch+multi實(shí)現(xiàn)樂觀鎖
setnx指令（redis的分布式鎖）
1、分布式鎖
分布式鎖本質(zhì)是占一個(gè)坑，當(dāng)別的進(jìn)程也要來占坑時(shí)發(fā)現(xiàn)已經(jīng)被占，就會(huì)放棄或者稍后重試
占坑一般使用 setnx(set if not exists)指令，只允許一個(gè)客戶端占坑
先來先占，用完了在調(diào)用del指令釋放坑
|
1
2
3
|
> setnx lock:codehole true.... do something critical ....> del lock:codehole |
?但是這樣有一個(gè)問題，如果邏輯執(zhí)行到中間出現(xiàn)異常，可能導(dǎo)致del指令沒有被調(diào)用，這樣就會(huì)陷入死鎖，鎖永遠(yuǎn)無法釋放
為了解決死鎖問題，我們拿到鎖時(shí)可以加上一個(gè)expire過期時(shí)間，這樣即使出現(xiàn)異常，當(dāng)?shù)竭_(dá)過期時(shí)間也會(huì)自動(dòng)釋放鎖
|
1
2
3
4
|
> setnx lock:codehole true> expire lock:codehole 5.... do something critical ....> del lock:codehole |
這樣又有一個(gè)問題，setnx和expire是兩條指令而不是原子指令，如果兩條指令之間進(jìn)程掛掉依然會(huì)出現(xiàn)死鎖
為了治理上面亂象，在redis 2.8中加入了set指令的擴(kuò)展參數(shù)，使setnx和expire指令可以一起執(zhí)行
|
1
2
3
|
> set lock:codehole true ex 5 nx''' do something '''> del lock:codehole |
redis解決超賣問題
1、使用reids的 watch + multi 指令實(shí)現(xiàn)
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
#! /usr/bin/env python# -*- coding: utf-8 -*-import redisdef sale(rs): while True: with rs.pipeline() as p: try: p.watch('apple') # 監(jiān)聽key值為apple的數(shù)據(jù)數(shù)量改變 count = int(rs.get('apple')) print('拿取到了蘋果的數(shù)量: %d' % count) p.multi() # 事務(wù)開始 if count> 0 : # 如果此時(shí)還有庫存 p.set('apple', count - 1) p.execute() # 執(zhí)行事務(wù) p.unwatch() break # 當(dāng)庫存成功減一或沒有庫存時(shí)跳出執(zhí)行循環(huán) except Exception as e: # 當(dāng)出現(xiàn)watch監(jiān)聽值出現(xiàn)修改時(shí)，WatchError異常拋出 print('[Error]: %s' % e) continue # 繼續(xù)嘗試執(zhí)行rs = redis.Redis(host='127.0.0.1', port=6379) # 連接redisrs.set('apple',1000) # # 首先在redis中設(shè)置某商品apple 對(duì)應(yīng)數(shù)量value值為1000sale(rs) |
1）原理
1. 當(dāng)用戶購(gòu)買時(shí)，通過 WATCH 監(jiān)聽用戶庫存，如果庫存在watch監(jiān)聽后發(fā)生改變，就會(huì)捕獲異常而放棄對(duì)庫存減一操作
2. 如果庫存沒有監(jiān)聽到變化并且數(shù)量大于1，則庫存數(shù)量減一，并執(zhí)行任務(wù)
2）弊端
1. Redis 在嘗試完成一個(gè)事務(wù)的時(shí)候，可能會(huì)因?yàn)槭聞?wù)的失敗而重復(fù)嘗試重新執(zhí)行
2. 保證商品的庫存量正確是一件很重要的事情，但是單純的使用 WATCH 這樣的機(jī)制對(duì)服務(wù)器壓力過大
2、使用reids的 watch + multi + setnx 指令實(shí)現(xiàn)
1）為什么要自己構(gòu)建鎖
然有類似的 SETNX 命令可以實(shí)現(xiàn) Redis 中的鎖的功能，但他鎖提供的機(jī)制并不完整
. 并且setnx也不具備分布式鎖的一些高級(jí)特性，還是得通過我們手動(dòng)構(gòu)建
2）創(chuàng)建一個(gè)redis鎖
在 Redis 中，可以通過使用 SETNX 命令來構(gòu)建鎖：rs.setnx(lock_name, uuid值)
. 而鎖要做的事情就是將一個(gè)隨機(jī)生成的 128 位 UUID 設(shè)置位鍵的值，防止該鎖被其他進(jìn)程獲取
3）釋放鎖
鎖的刪除操作很簡(jiǎn)單，只需要將對(duì)應(yīng)鎖的 key 值獲取到的 uuid 結(jié)果進(jìn)行判斷驗(yàn)證
. 符合條件（判斷uuid值）通過 delete 在 redis 中刪除即可，pipe.delete(lockname)
3. 此外當(dāng)其他用戶持有同名鎖時(shí)，由于 uuid 的不同，經(jīng)過驗(yàn)證后不會(huì)錯(cuò)誤釋放掉別人的鎖
4）解決鎖無法釋放問題
1. 在之前的鎖中，還出現(xiàn)這樣的問題，比如某個(gè)進(jìn)程持有鎖之后突然程序崩潰，那么會(huì)導(dǎo)致鎖無法釋放
2. 而其他進(jìn)程無法持有鎖繼續(xù)工作，為了解決這樣的問題，可以在獲取鎖的時(shí)候加上鎖的超時(shí)功能
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
|
import redisimport uuidimport time# 1.初始化連接函數(shù)def get_conn(host="127.0.0.1",port=6379): rs = redis.Redis(host=host, port=port) return rs# 2. 構(gòu)建redis鎖def acquire_lock(rs, lock_name, expire_time=10): ''' rs: 連接對(duì)象 lock_name: 鎖標(biāo)識(shí) acquire_time: 過期超時(shí)時(shí)間 return -> False 獲鎖失敗 or True 獲鎖成功 ''' identifier = str(uuid.uuid4()) end = time.time() + expire_time while time.time() < end: # 當(dāng)獲取鎖的行為超過有效時(shí)間，則退出循環(huán)，本次取鎖失敗，返回False if rs.setnx(lock_name, identifier): # 嘗試取得鎖 return identifier # time.sleep(.001) return False# 3. 釋放鎖def release_lock(rs, lockname, identifier): ''' rs: 連接對(duì)象 lockname: 鎖標(biāo)識(shí) identifier: 鎖的value值，用來校驗(yàn) ''' if rs.get(lockname).decode() == identifier: # 防止其他進(jìn)程同名鎖被誤刪 rs.delete(lockname) return True # 刪除鎖 else: return False # 刪除失敗#有過期時(shí)間的鎖def acquire_expire_lock(rs, lock_name, expire_time=10, locked_time=10): ''' rs: 連接對(duì)象 lock_name: 鎖標(biāo)識(shí) acquire_time: 過期超時(shí)時(shí)間 locked_time: 鎖的有效時(shí)間 return -> False 獲鎖失敗 or True 獲鎖成功 ''' identifier = str(uuid.uuid4()) end = time.time() + expire_time while time.time() < end: # 當(dāng)獲取鎖的行為超過有效時(shí)間，則退出循環(huán)，本次取鎖失敗，返回False if rs.setnx(lock_name, identifier): # 嘗試取得鎖 # print('鎖已設(shè)置: %s' % identifier) rs.expire(lock_name, locked_time) return identifier time.sleep(.001) return False'''在業(yè)務(wù)函數(shù)中使用上面的鎖'''def sale(rs): start = time.time() # 程序啟動(dòng)時(shí)間 with rs.pipeline() as p: ''' 通過管道方式進(jìn)行連接 多條命令執(zhí)行結(jié)束，一次性獲取結(jié)果 ''' while 1: lock = acquire_lock(rs, 'lock') if not lock: # 持鎖失敗 continue #開始監(jiān)測(cè)"lock" p.watch("lock") try: #開啟事務(wù) p.multi() count = int(rs.get('apple')) # 取量 p.set('apple', count-1) # 減量 # time.sleep(5) #提交事務(wù) p.execute() print('當(dāng)前庫存量: %s' % count) #成功則跳出循環(huán) break except: #事務(wù)失敗對(duì)應(yīng)處理 print("修改數(shù)據(jù)失敗") #無論成功與否最終都需要釋放鎖 finally: res = release_lock(rs, 'lock', lock) #釋放鎖成功， if res: print("刪除鎖成功") #釋放鎖失敗，強(qiáng)制刪除 else: print("刪除鎖失敗,強(qiáng)制刪除鎖") res = rs.delete('lock') print(res) print('[time]: %.2f' % (time.time() - start))rs = redis.Redis(host='127.0.0.1', port=6379) # 連接redis# rs.set('apple',1000) # # 首先在redis中設(shè)置某商品apple 對(duì)應(yīng)數(shù)量value值為1000sale(rs) |
優(yōu)化鎖無法釋放的問題，為鎖添加過期時(shí)間
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
def acquire_expire_lock(rs, lock_name, expire_time=10, locked_time=10): ''' rs: 連接對(duì)象 lock_name: 鎖標(biāo)識(shí) acquire_time: 過期超時(shí)時(shí)間 locked_time: 鎖的有效時(shí)間 return -> False 獲鎖失敗 or True 獲鎖成功 ''' identifier = str(uuid.uuid4()) end = time.time() + expire_time while time.time() < end: # 當(dāng)獲取鎖的行為超過有效時(shí)間，則退出循環(huán)，本次取鎖失敗，返回False if rs.setnx(lock_name, identifier): # 嘗試取得鎖 # print('鎖已設(shè)置: %s' % identifier) rs.expire(lock_name, locked_time) return identifier time.sleep(.001) return False |
關(guān)于redis中的鎖
Watch：監(jiān)測(cè)一個(gè)key。如果這個(gè)key的value改變，那個(gè)接下來的事務(wù)操作全部失效
multi: 開啟一個(gè)事務(wù)。
Setnx: 跟set一樣都往redis添加一個(gè)key。不一定的地方在于：set的時(shí)候如果這個(gè)值存在，就是修改操作。不存在就是添加操作。setnx：存在的時(shí)候不能再次添加，不存在的時(shí)候才能添加。
到此這篇關(guān)于詳解redis中的鎖以及使用場(chǎng)景的文章就介紹到這了,更多相關(guān)redis 鎖內(nèi)容請(qǐng)搜索服務(wù)器之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持服務(wù)器之家！
原文鏈接：https://blog.csdn.net/ZPeng_Yan/article/details/106817375
