爱因斯坦一生有着复杂的感情生活。他的初恋女友叫玛丽温特勒是房东家十八岁的女儿比他大两岁。随着爱因斯坦考入苏黎世联邦工学院学习，两人的关系变慢慢的淡了下来。几年后，玛丽嫁了人丈夫是一个表厂的经理。

爱因斯坦的第一任妻子米列娃，是他的大学同学，比他大四岁。两人在学术追求和艺术品位上有着相同的志趣。相识相知后从大学三年级确定了恋爱关系。卡列娃在苏黎世准备毕业补考时发现自己怀孕了，于是回到了自己的家乡塞尔维亚。生下他们的第一个孩子。但不幸一年后孩子染上了猩红热夭折。

1903年1月6日，爱因斯坦和卡列娃结婚。并于1904年5月14日，第一个孩子出生取名阿尔伯特。1909年年底，第二个孩子爱华德出生。但随着爱因斯坦社会地位的不断提升，卡列王变得更加神经质。

爱因斯坦还与表姐有一段婚外情。

艾尔莎比爱因斯坦年长几岁已离婚，两个女儿。对爱因斯坦的外交方面起到了很大的作用。总体上来说，这是一次合理的婚姻是一桩圆满共赢的合作。

值得一提的是在与艾尔沙结婚前，爱因斯坦跟他的继女——艾尔莎的大女儿伊尔莎曾有过一段暧昧关系。