爱因斯坦与前妻米列娃有一个未婚私生女丽瑟尔（1902—1963年），不过在1903年到1919年爱因斯坦娶了米列娃，后来米列娃为爱因斯坦生了两个儿子汉斯·爱因斯坦和爱德华·爱因斯坦。

　　爱因斯坦的第二任妻子爱尔莎是他的堂姐和表姐，他们的母亲是亲姐妹，他们的曾祖父都是鲁普特·爱因斯坦。这个婚姻从1919年到1936年爱尔莎逝世。爱因斯坦的二儿子爱德华受米列娃家庭遗传的影响患精神分裂症，一生未娶。大儿子汉斯·阿尔伯特是美国伯克利加州大学的水利工程教授，有三个孩子，大儿子伯恩哈德·凯撒·爱因斯坦是一名物理学家，二儿子Klaus Martin (1932—1938年)，以及养女。伯恩哈德·凯撒·爱因斯坦有五个孩子，其中最小的孩子成为了一名医生。