Второй супругой режиссера стала актриса Наташа Аринбасарова. В браке родился первенец Георгий. Находясь в браке с Натальей, Андрей закрутил отношения с француженкой Машей Мериль. Некоторое время они общались путем переписки. Когда Андрей признался о романе жене, было уже поздно, Мария не дождавшись Андрея, вышла замуж. В 1969 году режиссер встретил свою третью супругу Вивиан Годэ, которая родила ему дочь Александру. Но и этот брак распался.