В двадцатилетнем возрасте у Эйнштейна начался роман с Милевой, которая была старше его на четыре года

Полина стала проявлять явную враждебность по отношению к Милеве, когда поняла, что в отличие от прежних увлечений Альберта, его нынешние отношения серьезны и зашли слишком далеко. Период ссоры с матерью сменился временем, когда Эйнштейн стал откликаться на малейшее желание своей матери.

В то время, когда Милева старалась пересдать выпускные экзамены, вместо того, чтобы быть с ней рядом и поддержать в период испытаний, "Эйнштейн предпочел провести каникулы с матерью и сестрой", пожелав ей в письме удачи на экзаменах. Приехав в родной дом и получив безобразное письмо от Полины Эйнштейн, Милева писала: "Как видно, у этой дамы одна цель: испортить как можно больше жизнь не только мне, но и своему сыну... я никогда бы не поверила, что бывают такие бессердечные люди, она же воплощенная злость!"

Хотя Эйнштейн и отказался расстаться с Милевой, решение избавиться от внебрачной дочери Лизерль могло отражать также его желание смягчить гнев матери.

"Законный" старший сын, Ганс Альберт, родился в 1904 году. Есть основания предполагать, отмечают биографы Эйнштейна, что Милева, как и в студенческие годы, продолжала исполнять при Эйнштейне роль научного секретаря. Семьи Эйнштейна и Бессо сдружились. Имеются данные, что в 1908 году отношения между Эйнштейном и Милевой были тяжелыми.

Уже будучи взрослым, Ганс Альберт писал о своей матери: "Она была типичной славянкой с очень сильными и устойчивыми отрицательными эмоциями. Она никогда не прощала обид".

В 1910 году родился второй сын - Эдуард. Связь Эйнштейна с женой все ослабевала, он вел себя скорее как холостяк, нежели как человек семейный. Отношения между Милевой и Эйнштейном ухудшились в 1912 году, когда у Эйнштейна возобновились контакты с кузиной Эльзой. "То, что связь Эйнштейна с кузиной так долго оставалась тайной, можно приписать как его незаурядному умению заметать следы", так и тому, " что люди, знавшие правду, позаботились о том, чтобы скрыть ее на несколько десятков лет " (П.Картер, Р.Хайфилд, - выделено В.Б.).

Эльза была на три года старше Эйнштейна, после 12 лет совместной жизни развелась со своим мужем, торговцем текстилем, она родила от него двух дочерей, Ильзу и Марго. "Ее материнский инстинкт граничил с ненормальностью... она управляла дочерьми по своему произволу" (так писал муж Марго - Марьянов, чей брак тоже оказался неудачным, т.к. Марго не могла освободиться от влияния матери. Кстати, когда Эльза состарилась, Эйнштейн чаще показывался на людях с Марго (которая к тому времени уже развелась), чем с ней.