此代碼計算取自 M=102272 堆棧的所有可能的 L=45 元素向量對的 Pearson 相關係數。結果是一個對稱的 MxM 矩陣,佔用了大約 40 GB 的內存。內存要求對我的計算機來說不是問題,但我從測試運行中估計,大約 50 億次通過內循環需要 2-3 天才能完成。我的問題:是否有一種直接的方法來矢量化內循環以顯著加快速度?
# L = 45
# M = 102272
# data[M,L] (type 'float32')
cmat = np.zeros((M,M))
for i in range(M):
v1 = data[i,:]
z1 = (v1-np.average(v1))/np.std(v1)
for j in range(i+1):
v2 = data[j,:]
z2 = (v2-np.average(v2))/np.std(v2)
cmmat[i,j] = cmmat[j,i] = z1.dot(z2)/L
已經存在一個內置的 numpy 函數來計算相關矩陣。只需使用它!
>>> import numpy as np
>>> rng = np.random.default_rng(seed=42)
>>> xarr = rng.random((3, 3))
>>> xarr
array([[0.77395605, 0.43887844, 0.85859792],
[0.69736803, 0.09417735, 0.97562235],
[0.7611397 , 0.78606431, 0.12811363]])
>>> R1 = np.corrcoef(xarr)
>>> R1
array([[ 1. , 0.99256089, -0.68080986],
[ 0.99256089, 1. , -0.76492172],
[-0.68080986, -0.76492172, 1. ]])
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句