Manuel Madrid. Confinamiento y destierro