三角行列とは、「対角成分より上の成分がすべて0」もしくは「対角成分より下の成分がすべて0」である正方行列のことです。
例えば、以下は、三角行列です。
\[\begin{pmatrix} 1 & 2 & 3 \\ 0 & 4 & 5 \\ 0 & 0 & 6 \\ \end{pmatrix}\]
\[\begin{pmatrix} 1 & 0 & 0 \\ 2 & 3 & 0 \\ 4 & 5 & 6 \\ \end{pmatrix}\]