Si \(S=\{[[3a+2b,-2a-b],[b,a]]\in \mathcal{M}_2(\mathbb{R})\}\). entonces

(%i5) X : matrix([ x, y],[ z, t]) $
m : matrix([ 3 * a + 2 * b, - 2 * a - b],[ b, a]) $
s1 : ev( m, a = 1, b = 0) $
s2 : ev( m, a = 0, b = 1) $
print( "S^⟂", "=", "{", X,∎, s1, "=0 ,", X,∎, s2, "=0", "}") $
S = { [ x y z t ] [ 3 2 0 1 ] =0 , [ x y z t ] [ 2 1 1 0 ] =0 }

Por tanto, si [[2,x],[y,-2]] pertenece al ortogonal tendrá que verificar

(%i9) A : matrix([ 2, x],[ y, - 2]) $
eq1 : mat_trace( transpose( A). s1) $
eq2 : mat_trace( transpose( A). s2) $
print( eq1 = 0, ",", eq2 = 0) $
0 errores, 0 advertencias 4 2 x = 0 , y x + 4 = 0

Resolvemos el sistema y evaluamos:

(%i11) linsolve([ eq1, eq2],[ x, y]) ;
A : ev( A, %) ;
(%o10) [ x = 2 , y = 2 ] (A) [ 2 2 2 2 ]

Ahora calculamos su norma al cuadrado:

(%i12) mat_trace( transpose( A). A) ;
(%o12) 16

Created with wxMaxima.