Произведение Кронекера

Произведение Кронекера — бинарная операция над матрицами произвольного размера, обозначается $\otimes$. Результатом является блочная матрица.

Произведение Кронекера не следует путать с обычным умножением матриц. Операция названа в честь немецкого математика Леопольда Кронекера.

Определение

Если A — матрица размера m×n, B — матрица размера p×q, тогда произведение Кронекера есть блочная матрица размера mp×nq

$A\otimes B=\left[\begin{array}{ccc}{a}_{11}B& \cdots & a_{1n}B\\ ⋮& \ddots & ⋮\\ a_{m1}B& \cdots & a_{mn}B\end{array}\right].$

В развёрнутом виде

$𝐀\otimes 𝐁=\left[\begin{array}{cccccccccc}{a}_{11}{b}_{11}& a_{11}{b}_{12}& \cdots & a_{11}{b}_{1q}& \cdots & \cdots & a_{1n}{b}_{11}& a_{1n}{b}_{12}& \cdots & a_{1n}{b}_{1q}\\ a_{11}{b}_{21}& a_{11}{b}_{22}& \cdots & a_{11}{b}_{2q}& \cdots & \cdots & a_{1n}{b}_{21}& a_{1n}{b}_{22}& \cdots & a_{1n}{b}_{2q}\\ ⋮& ⋮& \ddots & ⋮& & & ⋮& ⋮& \ddots & ⋮\\ a_{11}{b}_{p1}& a_{11}{b}_{p2}& \cdots & a_{11}{b}_{pq}& \cdots & \cdots & a_{1n}{b}_{p1}& a_{1n}{b}_{p2}& \cdots & a_{1n}{b}_{pq}\\ ⋮& ⋮& & ⋮& \ddots & & ⋮& ⋮& & ⋮\\ ⋮& ⋮& & ⋮& & \ddots & ⋮& ⋮& & ⋮\\ a_{m1}{b}_{11}& a_{m1}{b}_{12}& \cdots & a_{m1}{b}_{1q}& \cdots & \cdots & a_{mn}{b}_{11}& a_{mn}{b}_{12}& \cdots & a_{mn}{b}_{1q}\\ a_{m1}{b}_{21}& a_{m1}{b}_{22}& \cdots & a_{m1}{b}_{2q}& \cdots & \cdots & a_{mn}{b}_{21}& a_{mn}{b}_{22}& \cdots & a_{mn}{b}_{2q}\\ ⋮& ⋮& \ddots & ⋮& & & ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{p1}& a_{m1}{b}_{p2}& \cdots & a_{m1}{b}_{pq}& \cdots & \cdots & a_{mn}{b}_{p1}& a_{mn}{b}_{p2}& \cdots & a_{mn}{b}_{pq}\end{array}\right].$

Если A и B представляют собой линейные преобразования V₁ → W₁ и V₂ → W₂, соответственно, то A ⊗ B представляет собой тензорное произведение двух отображений, V₁ ⊗ V₂ → W₁ ⊗ W₂.

Пример

$\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]\otimes \left[\begin{array}{cc}0& 5\\ 6& 7\end{array}\right]=\left[\begin{array}{cccc}1\cdot 0& 1\cdot 5& 2\cdot 0& 2\cdot 5\\ 1\cdot 6& 1\cdot 7& 2\cdot 6& 2\cdot 7\\ 3\cdot 0& 3\cdot 5& 4\cdot 0& 4\cdot 5\\ 3\cdot 6& 3\cdot 7& 4\cdot 6& 4\cdot 7\end{array}\right]=\left[\begin{array}{cccc}0& 5& 0& 10\\ 6& 7& 12& 14\\ 0& 15& 0& 20\\ 18& 21& 24& 28\end{array}\right]$.

Билинейность, ассоциативность и некоммутативность

• Произведение Кронекера является частным случаем тензорного произведения, и значит оно является билинейным и ассоциативным:

$A\otimes (B+C)=A\otimes B+A\otimes C,$

$(A+B)\otimes C=A\otimes C+B\otimes C,$

$(kA)\otimes B=A\otimes (kB)=k(A\otimes B),$

$(A\otimes B)\otimes C=A\otimes (B\otimes C),$

где A, B и C есть матрицы, а k — скаляр.

• Произведение Кронекера не является коммутативным. Хотя, всегда существуют такие матрицы перестановки P и Q, что

$A\otimes B=P(B\otimes A)Q.$

Если A и B квадратные матрицы, тогда A $\otimes$ B и B $\otimes$ A являются перестановочно подобными, то есть, P = Q^T.

Транспонирование

Операции транспонирования и эрмитова сопряжения можно переставлять с произведением Кронекера:

$(A\otimes B{)}^T=A^T\otimes B^T,$

$(A\otimes B{)}^H=A^H\otimes B^H.$

Смешанное произведение

• Если A, B, C и D являются матрицами такого размера, что существуют произведения AC и BD, тогда

$(A\otimes B)(C\otimes D)=AC\otimes BD.$

• A $\otimes$ B является обратимой тогда и только тогда, когда A и B являются обратимыми, и тогда

$(A\otimes B{)}^{-1}=A^{-1}\otimes B^{-1}.$

$(A\otimes B)\odot (C\otimes D)=(A\odot C)\otimes (B\odot D)$, где $\odot$ - произведение Адамара

$A\otimes B=(I\otimes B)(A\otimes I)$, где $I$ - единичная матрица.

Сумма и экспонента Кронекера

• Пусть A — матрица размера n×n, B — матрица размера m×m и $E_k$ — единичная матрица размера k×k. Тогда можно определить сумму Кронекера $\oplus$ как

$A\oplus B=A\otimes E_m+E_n\otimes B.$

• Также справедливо

$e^{A\oplus B}=e^A\otimes e^B.$

Спектр, след и определитель

• Если A и B квадратные матрицы размера n и q соответственно. Если λ₁, …, λ_n — собственные значения матрицы A и μ₁, …, μ_q собственные значения матрицы B. Тогда собственными значениями A $\otimes$ B являются

${\lambda }_i{\mu }_j,i=1,\dots ,n,j=1,\dots ,q.$

• След и определитель произведения Кронекера равны

$\mathrm{tr}(A\otimes B)=\mathrm{tr}(A)\mathrm{tr}(B),$

$\det (A\otimes B)=(\det A{)}^q(\det B{)}^n.$

Сингулярное разложение и ранг

• Если матрица A имеет r_A ненулевых сингулярных значений:

${\sigma }_{A,i},i=1,\dots ,r_A.$

Ненулевые сингулярные значения матрицы B:

${\sigma }_{B,i},i=1,\dots ,r_B.$

Тогда произведение Кронекера A $\otimes$ B имеет r_Ar_B ненулевых сингулярных значений

${\sigma }_{A,i}{\sigma }_{B,j},i=1,\dots ,r_A,j=1,\dots ,r_B.$

• Ранг матрицы равен количеству ненулевых сингулярных значений,

$\mathrm{rank}(A\otimes B)=\mathrm{rank}(A)\mathrm{rank}(B).$

История

Произведение Кронекера названо в честь Леопольда Кронекера, несмотря даже на то, что существует мало свидетельств о том, что он был первым, кто определил и использовал эту операцию. В прошлом произведение Кронекера иногда называли матрицей Зефусса.

Блочные версии произведения Кронекера

В случае блочных матриц могут использоваться матричные операции, связанные c произведением Кронекера и отличающиеся порядком соответствующего перемножения блоков. Таковыми являются произведения Трейси – Сингха (Шаблон:Lang-en) и произведение Хатри — Рао.

Произведение Трейси-Сингха

Указанная операция перемножения блочных матриц заключается в том, что каждый блок левой матрицы умножается последовательно на блоки правой матрицы. При этом формируемая структура результирующей матрицы отличается от характерной для произведения Кронекера. Произведение Трейси – Сингха определяется как

$𝐀\odot 𝐁={({𝐀}_{ij}\odot 𝐁)}_{ij}={\left({({𝐀}_{ij}\otimes {𝐁}_{kl})}_{kl}\right)}_{ij}$

Например:

$𝐀=\left[\begin{array}{cc}{𝐀}_{11}& {𝐀}_{12}\\ {𝐀}_{21}& {𝐀}_{22}\end{array}\right]=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right],𝐁=\left[\begin{array}{cc}{𝐁}_{11}& {𝐁}_{12}\\ {𝐁}_{21}& {𝐁}_{22}\end{array}\right]=\left[\begin{array}{ccc}1& 4& 7\\ 2& 5& 8\\ 3& 6& 9\end{array}\right],$

$\begin{array}{cc}𝐀\odot 𝐁=\left[\begin{array}{cc}{𝐀}_{11}\odot 𝐁& {𝐀}_{12}\odot 𝐁\\ {𝐀}_{21}\odot 𝐁& {𝐀}_{22}\odot 𝐁\end{array}\right]=& \left[\begin{array}{cccc}{𝐀}_{11}\otimes {𝐁}_{11}& {𝐀}_{11}\otimes {𝐁}_{12}& {𝐀}_{12}\otimes {𝐁}_{11}& {𝐀}_{12}\otimes {𝐁}_{12}\\ {𝐀}_{11}\otimes {𝐁}_{21}& {𝐀}_{11}\otimes {𝐁}_{22}& {𝐀}_{12}\otimes {𝐁}_{21}& {𝐀}_{12}\otimes {𝐁}_{22}\\ {𝐀}_{21}\otimes {𝐁}_{11}& {𝐀}_{21}\otimes {𝐁}_{12}& {𝐀}_{22}\otimes {𝐁}_{11}& {𝐀}_{22}\otimes {𝐁}_{12}\\ {𝐀}_{21}\otimes {𝐁}_{21}& {𝐀}_{21}\otimes {𝐁}_{22}& {𝐀}_{22}\otimes {𝐁}_{21}& {𝐀}_{22}\otimes {𝐁}_{22}\end{array}\right]\\ =& \left[\begin{array}{ccccccccc}1& 2& 4& 7& 8& 14& 3& 12& 21\\ 4& 5& 16& 28& 20& 35& 6& 24& 42\\ 2& 4& 5& 8& 10& 16& 6& 15& 24\\ 3& 6& 6& 9& 12& 18& 9& 18& 27\\ 8& 10& 20& 32& 25& 40& 12& 30& 48\\ 12& 15& 24& 36& 30& 45& 18& 36& 54\\ 7& 8& 28& 49& 32& 56& 9& 36& 63\\ 14& 16& 35& 56& 40& 64& 18& 45& 72\\ 21& 24& 42& 63& 48& 72& 27& 54& 81\end{array}\right].\end{array}$

Произведение Хатри-Рао

Шаблон:Main

Данный вариант умножения определён для матриц с одинаковой блочной структурой. Он предусматривает, что операция кронекеровского произведения выполняется поблочно, в пределах одноимённых матричных блоков по аналогии с поэлементным произведением Адамара, только при этом в качестве элементов фигурируют блоки матриц, а для умножения блоков используется кронекеровское произведение.

Литература

• Хорн Р. Матричный анализ: Пер. с англ. / Р. Хорн, Ч. Джонсон. – М.: Мир, 1989.– 655 с.