Wenn Du in er Tat eine *decoration* vorziehst, also keine echten Klammern von `amsmath` haben willst, so kannst Du recht einfach selbst eine definieren. Ich habe dazu die Definition der `brace` *decoration* aus `pgflibrarydecorations.pathreplacing.code.tex` kopiert und die geschwungene Kurve für die Spitze in der Mitte der geschweiften Klammern entfernt. Dadurch ergibt sich eine (mehr oder weniger) eckige Klammer mit abgerundeten Enden. Dem Ganzen habe ich den Namen `rbracket` (für *rounded bracket*) gegeben. Der Name ist willkürlich. Der Name des Anfangszustandes ist ebenfalls willkürlich, muss aber natürlich mit der Definition eines Zustandes (`\state`) in der Definition der *decoration* übereinstimmen. Ich habe es hier bei `brace` belassen. Man hätte den Zustand aber auch in `initial` oder `rbracket` ändern können.
\documentclass[varwidth, margin=5mm]{standalone}
%\documentclass[a4paper]{article}
\usepackage[ngerman]{babel}
\usepackage{amsmath, relsize, tikz}
\usetikzlibrary{matrix, decorations.pathreplacing}
% New rbracket decoration (brackets with round sends)
%
% Parameters: \pgfdecorationsegmentamplitude
\pgfdeclaredecoration{rbracket}{brace}
{
\state{brace}[width=+\pgfdecoratedremainingdistance,next state=final]
{
\pgfpathmoveto{\pgfpointorigin}
\pgfpathcurveto
{\pgfqpoint{.15\pgfdecorationsegmentamplitude}{.3\pgfdecorationsegmentamplitude}}
{\pgfqpoint{.5\pgfdecorationsegmentamplitude}{.5\pgfdecorationsegmentamplitude}}
{\pgfqpoint{\pgfdecorationsegmentamplitude}{.5\pgfdecorationsegmentamplitude}}
{
\pgftransformxshift{+\pgfdecorationsegmentaspect\pgfdecoratedremainingdistance}
\pgfpathlineto{\pgfqpoint{-\pgfdecorationsegmentamplitude}{.5\pgfdecorationsegmentamplitude}}
}
{
\pgftransformxshift{+\pgfdecoratedremainingdistance}
\pgfpathlineto{\pgfqpoint{-\pgfdecorationsegmentamplitude}{.5\pgfdecorationsegmentamplitude}}
\pgfpathcurveto
{\pgfqpoint{-.5\pgfdecorationsegmentamplitude}{.5\pgfdecorationsegmentamplitude}}
{\pgfqpoint{-.15\pgfdecorationsegmentamplitude}{.3\pgfdecorationsegmentamplitude}}
{\pgfqpoint{0pt}{0pt}}
}
}
\state{final}
{}
}
\begin{document}
\begin{tikzpicture}
\matrix (m) [matrix of math nodes,
inner sep=0pt, column sep=0.5em, %row sep=0.1em,
nodes={inner sep=0.25em,text width=1em,align=center}
]
{
a_{1} & b_{1} & c_{1} \\
a_{2} & b_{2} & c_{2}\\
a_{3} & b_{3} & c_{3}\\
};
%Klammern, Strich
%\node[red] at (m-1-2.north east){+};
\draw[decorate,decoration=rbracket](m-3-1.south west) -- (m-1-1.north west) ;
\draw[decorate,decoration=rbracket](m-1-3.north east) -- (m-3-3.south east);
\draw[] (m-1-3.north west) -- (m-3-3.south west);
\end{tikzpicture}
\end{document}
![alt text][1]
Sicher könnte man die Definition der *decoration* weiter optimieren (man braucht ja eigentlich nur zwei kleine Bögen und eine Linie dazwischen). Aber nicht zuletzt, weil in der Frage die `brace` *decoration* angesprochen wurde, wollte ich ganz bewusst zeigen, wie man diese abwandeln kann.
[1]: http://texwelt.de/wissen/upfiles/test_20170420_132459.png
