工程實(shí)踐中，多數(shù)情況下，大矩陣一般都為稀疏矩陣，所以如何處理稀疏矩陣在實(shí)際中就非常重要。本文以Python里中的實(shí)現(xiàn)為例，首先來(lái)探討一下稀疏矩陣是如何存儲(chǔ)表示的。
1.sparse模塊初探
python中scipy模塊中，有一個(gè)模塊叫sparse模塊，就是專門為了解決稀疏矩陣而生。本文的大部分內(nèi)容，其實(shí)就是基于sparse模塊而來(lái)的。
第一步自然就是導(dǎo)入sparse模塊
|
1
|
>>> from scipy import sparse |
然后help一把，先來(lái)看個(gè)大概
|
1
|
>>> help(sparse) |
直接找到我們最關(guān)心的部分：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
Usage information=================There are seven available sparse matrix types: 1. csc_matrix: Compressed Sparse Column format 2. csr_matrix: Compressed Sparse Row format 3. bsr_matrix: Block Sparse Row format 4. lil_matrix: List of Lists format 5. dok_matrix: Dictionary of Keys format 6. coo_matrix: COOrdinate format (aka IJV, triplet format) 7. dia_matrix: DIAgonal formatTo construct a matrix efficiently, use either dok_matrix or lil_matrix.The lil_matrix class supports basic slicing and fancyindexing with a similar syntax to NumPy arrays. As illustrated below,the COO format may also be used to efficiently construct matrices.To perform manipulations such as multiplication or inversion, firstconvert the matrix to either CSC or CSR format. The lil_matrix format isrow-based, so conversion to CSR is efficient, whereas conversion to CSCis less so.All conversions among the CSR, CSC, and COO formats are efficient,linear-time operations. |
通過(guò)這段描述，我們對(duì)sparse模塊就有了個(gè)大致的了解。sparse模塊里面有7種存儲(chǔ)稀疏矩陣的方式。接下來(lái)，我們對(duì)這7種方式來(lái)做個(gè)一一介紹。
2.coo_matrix
coo_matrix是最簡(jiǎn)單的存儲(chǔ)方式。采用三個(gè)數(shù)組row、col和data保存非零元素的信息。這三個(gè)數(shù)組的長(zhǎng)度相同，row保存元素的行，col保存元素的列，data保存元素的值。一般來(lái)說(shuō)，coo_matrix主要用來(lái)創(chuàng)建矩陣，因?yàn)閏oo_matrix無(wú)法對(duì)矩陣的元素進(jìn)行增刪改等操作，一旦矩陣創(chuàng)建成功以后，會(huì)轉(zhuǎn)化為其他形式的矩陣。
|
1
2
3
4
5
6
7
8
9
|
>>> row = [2,2,3,2]>>> col = [3,4,2,3]>>> c = sparse.coo_matrix((data,(row,col)),shape=(5,6))>>> print c.toarray()[[0 0 0 0 0 0] [0 0 0 0 0 0] [0 0 0 5 2 0] [0 0 3 0 0 0] [0 0 0 0 0 0]] |
稍微需要注意的一點(diǎn)是，用coo_matrix創(chuàng)建矩陣的時(shí)候，相同的行列坐標(biāo)可以出現(xiàn)多次。矩陣被真正創(chuàng)建完成以后，相應(yīng)的坐標(biāo)值會(huì)加起來(lái)得到最終的結(jié)果。
3.dok_matrix與lil_matrix
dok_matrix和lil_matrix適用的場(chǎng)景是逐漸添加矩陣的元素。doc_matrix的策略是采用字典來(lái)記錄矩陣中不為0的元素。自然，字典的key存的是記錄元素的位置信息的元祖，value是記錄元素的具體值。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
>>> import numpy as np>>> from scipy.sparse import dok_matrix>>> S = dok_matrix((5, 5), dtype=np.float32)>>> for i in range(5):... for j in range(5):... S[i, j] = i + j...>>> print S.toarray()[[ 0. 1. 2. 3. 4.] [ 1. 2. 3. 4. 5.] [ 2. 3. 4. 5. 6.] [ 3. 4. 5. 6. 7.] [ 4. 5. 6. 7. 8.]] |
lil_matrix則是使用兩個(gè)列表存儲(chǔ)非0元素。data保存每行中的非零元素,rows保存非零元素所在的列。這種格式也很適合逐個(gè)添加元素，并且能快速獲取行相關(guān)的數(shù)據(jù)。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
>>> from scipy.sparse import lil_matrix>>> l = lil_matrix((6,5))>>> l[2,3] = 1>>> l[3,4] = 2>>> l[3,2] = 3>>> print l.toarray()[[ 0. 0. 0. 0. 0.] [ 0. 0. 0. 0. 0.] [ 0. 0. 0. 1. 0.] [ 0. 0. 3. 0. 2.] [ 0. 0. 0. 0. 0.] [ 0. 0. 0. 0. 0.]]>>> print l.data[[] [] [1.0] [3.0, 2.0] [] []]>>> print l.rows[[] [] [3] [2, 4] [] []] |
由上面的分析很容易可以看出，上面兩種構(gòu)建稀疏矩陣的方式，一般也是用來(lái)通過(guò)逐漸添加非零元素的方式來(lái)構(gòu)建矩陣，然后轉(zhuǎn)換成其他可以快速計(jì)算的矩陣存儲(chǔ)方式。
4.dia_matrix
這是一種對(duì)角線的存儲(chǔ)方式。其中，列代表對(duì)角線，行代表行。如果對(duì)角線上的元素全為0，則省略。
如果原始矩陣是個(gè)對(duì)角性很好的矩陣那壓縮率會(huì)非常高。
找了網(wǎng)絡(luò)上的一張圖，大家就很容易能看明白其中的原理。
5.csr_matrix與csc_matrix
csr_matrix，全名為Compressed Sparse Row，是按行對(duì)矩陣進(jìn)行壓縮的。CSR需要三類數(shù)據(jù)：數(shù)值，列號(hào)，以及行偏移量。CSR是一種編碼的方式，其中，數(shù)值與列號(hào)的含義，與coo里是一致的。行偏移表示某一行的第一個(gè)元素在values里面的起始偏移位置。
同樣在網(wǎng)絡(luò)上找了一張圖，能比較好反映其中的原理。
看看在python里怎么使用：
|
1
2
3
4
5
6
7
8
|
>>> from scipy.sparse import csr_matrix>>> indptr = np.array([0, 2, 3, 6])>>> indices = np.array([0, 2, 2, 0, 1, 2])>>> data = np.array([1, 2, 3, 4, 5, 6])>>> csr_matrix((data, indices, indptr), shape=(3, 3)).toarray()array([[1, 0, 2], [0, 0, 3], [4, 5, 6]]) |
怎么樣，是不是也不是很難理解。
我們?cè)倏纯次臋n中是怎么說(shuō)的
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
Notes| -----|| Sparse matrices can be used in arithmetic operations: they support| addition, subtraction, multiplication, division, and matrix power.|| Advantages of the CSR format| - efficient arithmetic operations CSR + CSR, CSR * CSR, etc.| - efficient row slicing| - fast matrix vector products|| Disadvantages of the CSR format| - slow column slicing operations (consider CSC)| - changes to the sparsity structure are expensive (consider LIL or DOK) |
不難看出，csr_matrix比較適合用來(lái)做真正的矩陣運(yùn)算。
至于csc_matrix，跟csr_matrix類似，只不過(guò)是基于列的方式壓縮的，不再單獨(dú)介紹。
6.bsr_matrix
Block Sparse Row format，顧名思義，是按分塊的思想對(duì)矩陣進(jìn)行壓縮。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持服務(wù)器之家。
原文鏈接：http://blog.csdn.net/bitcarmanlee/article/details/52668477
