Nilai maksimum per diagonal dalam array 2d

9

Saya memiliki array dan perlu max perbedaan bergulir dengan jendela dinamis.

a = np.array([8, 18, 5,15,12])
print (a)
[ 8 18  5 15 12]

Jadi pertama-tama saya membuat perbedaan dengan sendirinya:

b = a - a[:, None]
print (b)
[[  0  10  -3   7   4]
 [-10   0 -13  -3  -6]
 [  3  13   0  10   7]
 [ -7   3 -10   0  -3]
 [ -4   6  -7   3   0]]

Kemudian ganti matriks segitiga atas ke 0:

c = np.tril(b)
print (c)
[[  0   0   0   0   0]
 [-10   0   0   0   0]
 [  3  13   0   0   0]
 [ -7   3 -10   0   0]
 [ -4   6  -7   3   0]]

Terakhir membutuhkan nilai maks per diagonal, artinya:

max([0,0,0,0,0]) = 0  
max([-10,13,-10,3]) = 13
max([3,3,-7]) = 3
max([-7,6]) = 6
max([-4]) = -4

Jadi output yang diharapkan adalah:

[0, 13, 3, 6, -4]

Apa itu solusi vektor yang bagus? Atau mungkin beberapa cara lain untuk output yang diharapkan?

jezrael
sumber

Jawaban:

3

Tidak yakin persis seberapa efisien ini mempertimbangkan pengindeksan lanjutan yang terlibat, tetapi ini adalah salah satu cara untuk melakukannya:

import numpy as np

a = np.array([8, 18, 5, 15, 12])
b = a[:, None] - a
# Fill lower triangle with largest negative
b[np.tril_indices(len(a))] = np.iinfo(b.dtype).min  # np.finfo for float
# Put diagonals as rows
s = b.strides[1]
diags = np.ndarray((len(a) - 1, len(a) - 1), b.dtype, b, offset=s, strides=(s, (len(a) + 1) * s))
# Get maximum from each row and add initial zero
c = np.r_[0, diags.max(1)]
print(c)
# [ 0 13  3  6 -4]

EDIT:

Alternatif lain, yang mungkin bukan yang Anda cari, hanya menggunakan Numba, misalnya seperti ini:

import numpy as np
import numba as nb

def max_window_diffs_jdehesa(a):
    a = np.asarray(a)
    dtinf = np.iinfo(b.dtype) if np.issubdtype(b.dtype, np.integer) else np.finfo(b.dtype)
    out = np.full_like(a, dtinf.min)
    _pwise_diffs(a, out)
    return out

@nb.njit(parallel=True)
def _pwise_diffs(a, out):
    out[0] = 0
    for w in nb.prange(1, len(a)):
        for i in range(len(a) - w):
            out[w] = max(a[i] - a[i + w], out[w])

a = np.array([8, 18, 5, 15, 12])
print(max_window_diffs(a))
# [ 0 13  3  6 -4]

Membandingkan metode ini dengan yang asli:

import numpy as np
import numba as nb

def max_window_diffs_orig(a):
    a = np.asarray(a)
    b = a - a[:, None]
    out = np.zeros(len(a), b.dtype)
    out[-1] = b[-1, 0]
    for i in range(1, len(a) - 1):
        out[i] = np.diag(b, -i).max()
    return out

def max_window_diffs_jdehesa_np(a):
    a = np.asarray(a)
    b = a[:, None] - a
    dtinf = np.iinfo(b.dtype) if np.issubdtype(b.dtype, np.integer) else np.finfo(b.dtype)
    b[np.tril_indices(len(a))] = dtinf.min
    s = b.strides[1]
    diags = np.ndarray((len(a) - 1, len(a) - 1), b.dtype, b, offset=s, strides=(s, (len(a) + 1) * s))
    return np.concatenate([[0], diags.max(1)])

def max_window_diffs_jdehesa_nb(a):
    a = np.asarray(a)
    dtinf = np.iinfo(b.dtype) if np.issubdtype(b.dtype, np.integer) else np.finfo(b.dtype)
    out = np.full_like(a, dtinf.min)
    _pwise_diffs(a, out)
    return out

@nb.njit(parallel=True)
def _pwise_diffs(a, out):
    out[0] = 0
    for w in nb.prange(1, len(a)):
        for i in range(len(a) - w):
            out[w] = max(a[i] - a[i + w], out[w])

np.random.seed(0)
a = np.random.randint(0, 100, size=100)
r = max_window_diffs_orig(a)
print((max_window_diffs_jdehesa_np(a) == r).all())
# True
print((max_window_diffs_jdehesa_nb(a) == r).all())
# True

%timeit max_window_diffs_orig(a)
# 348 µs ± 986 ns per loop (mean ± std. dev. of 7 runs, 1000 loops each)
%timeit max_window_diffs_jdehesa_np(a)
# 91.7 µs ± 1.3 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
%timeit max_window_diffs_jdehesa_nb(a)
# 19.7 µs ± 88.1 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

np.random.seed(0)
a = np.random.randint(0, 100, size=10000)
%timeit max_window_diffs_orig(a)
# 651 ms ± 26 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit max_window_diffs_jdehesa_np(a)
# 1.61 s ± 6.19 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit max_window_diffs_jdehesa_nb(a)
# 22 ms ± 967 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

Yang pertama mungkin sedikit lebih baik untuk array yang lebih kecil, tetapi tidak berfungsi dengan baik untuk array yang lebih besar. Numba di sisi lain cukup bagus dalam semua kasus.

jdehesa
sumber
Bisakah Anda menambahkan beberapa timing untuk menjawab, misalnya untuk nilai 10, 100, 1000 a?
jezrael
1
@ jezrael Menambahkan kemungkinan solusi Numba dan beberapa ukuran waktu. Solusi NumPy saya tidak benar-benar berskala baik, Numba baik, meskipun saya tidak yakin apakah itu berguna untuk Anda.
jdehesa
4

Menggunakan ndarray.diagonal

v = [max(c.diagonal(-i)) for i in range(b.shape[0])]
print(v) # [0, 13, 3, 6, -4]
Orang
sumber
1

Anda bisa menggunakan numpy.diagonal:

a = np.array([8, 18, 5,15,12])
b = a - a[:, None]
c = np.tril(b)
for i in range(b.shape[0]):
    print(max(c.diagonal(-i)))

Keluaran:

0
13
3
6
-4
Sayandip Dutta
sumber
Saya pikir vectorized, no loop
jezrael
1

Inilah solusi vektor dengan strides-

from skimage.util import view_as_windows

n = len(a)
z = np.zeros(n-1,dtype=a.dtype)
p = np.concatenate((a,z))

s = view_as_windows(p,n)
mask = np.tri(n,k=-1,dtype=bool)[:,::-1]
v = s[0]-s
out = np.where(mask,v.min()-1,v).max(1)

Dengan satu putaran untuk efisiensi memori -

n = len(a)
out = [max(a[:-i+n]-a[i:]) for i in range(n)]

Gunakan np.maxdi tempat maxuntuk penggunaan array-memory yang lebih baik.

Divakar
sumber
1
@ jezrael Tergantung pada datasize yang saya pikir. Untuk ukuran besar, saya akan berpikir yang gila dengan mengiris + max bisa menang karena mem-efisiensi.
Divakar
1

Anda dapat menyalahgunakan fakta bahwa membentuk kembali array non-persegi bentuk (N+1, N)untuk (N, N+1)akan membuat diagonal muncul sebagai kolom

from scipy.linalg import toeplitz
a = toeplitz([1,2,3,4], [1,4,3])
# array([[1, 4, 3],
#        [2, 1, 4],
#        [3, 2, 1],
#        [4, 3, 2]])
a.reshape(3, 4)
# array([[1, 4, 3, 2],
#        [1, 4, 3, 2],
#        [1, 4, 3, 2]])

Yang kemudian dapat Anda gunakan seperti (perhatikan bahwa saya telah menukar tanda dan mengatur segitiga bawah ke nol)

smallv = -10000  # replace this with np.nan if you have floats

a = np.array([8, 18, 5,15,12])
b = a[:, None] - a

b[np.tril_indices(len(b), -1)] = smallv
d = np.vstack((b, np.full(len(b), smallv)))

d.reshape(len(d) - 1, -1).max(0)[:-1]
# array([ 0, 13,  3,  6, -4])
Nils Werner
sumber