a. Phương trình đường tròn có dạng $x^{2} + y^{2} - 2ax - 2by + c = 0$.
Thay tọa độ các đỉnh M(2; 5), N(1; 2), P(5, 4) vào phương trình đường tròn, ta được hệ phương trình:
$\left\{\begin{matrix}2^{2} + 5^{2} - 4a - 10b + c = 0\\ 1^{2} + 2^{2} - 2a - 4b + c = 0\\ 5^{2} + 4^{2} - 10a - 8b + c = 0\end{matrix}\right.$ $\Leftrightarrow$ $\left\{\begin{matrix}4a + 10b - c = 29\\ 2a + 4b - c = 5\\ 10a + 8b - c = 41\end{matrix}\right.$ $\Leftrightarrow$ $\left\{\begin{matrix}a = 3\\ b = 3\\ c = 13 \end{matrix}\right.$
Vậy phương trình đường tròn ngoại tiếp tam giác MNP là:
$x^{2} + y^{2} - 6x - 6y + 13 = 0$
b. Phương trình đường tròn có dạng $x^{2} + y^{2} - 2ax - 2by + c = 0$.
Thay tọa độ các đỉnh A(0; 6), B(7; 7), C(8; 0) vào phương trình đường tròn, ta được hệ phương trình:
$\left\{\begin{matrix} 6^{2} - 12b + c = 0\\ 7^{2} + 7^{2} - 14a - 14b + c = 0\\ 8^{2} - 16a + c = 0\end{matrix}\right.$ $\Leftrightarrow$ $\left\{\begin{matrix}12b - c = 36\\ 14a + 14b - c = 98\\ 16a - c = 64\end{matrix}\right.$ $\Leftrightarrow$ $\left\{\begin{matrix}a = 4\\ b = 3\\ c = 0\end{matrix}\right.$
Vậy phương trình đường tròn ngoại tiếp tam giác ABC là:
$x^{2} + y^{2} - 8x - 6y = 0$