Để hai vecto a+mb và amb vuông góc với nhau thì:

(a+mb)(amb)=0(a)2mab+mabm2(b)2=0|a|2m|a||b|cos(a,b)+m|a||b|cos(a,b)m2|b|2=09+152m152m25m2=0925m2=0m=±35

Vậy: m=±35 thì hai vecto a+mb và amb vuông góc với nhau.