泽尔多维奇1914年出生于白俄罗斯明斯克的一个犹太人家庭，1917年全家迁居彼得格勒（后列宁格勒，今圣彼得堡）。他从未接受过正规的大学本科教育，1931年17岁时进入列宁格勒物理技术研究所当实验员，在著名物理学家谢苗诺夫指导下自学成才，1936年获副博士学位，1939年获博士学位。

泽尔多维奇早年的研究领域是化学物理和燃烧爆炸理论，1939年他与哈里顿合作提出了铀-235链式反应理论。二战期间，他与库尔恰托夫等人一起参与苏联原子弹计划，是苏联第一颗原子弹和氢弹设计的核心理论专家。因在核物理领域的贡献，他于1946年当选苏联科学院通讯院士，1953年当选院士，多次获得苏联最高荣誉。

1960年代中期，泽尔多维奇的研究兴趣转向天体物理学和宇宙学，在这个领域他同样取得了辉煌成就。他与诺维科夫等人合作，系统研究了黑洞的物理性质，提出了黑洞吸积盘理论，解释了类星体的能量来源。他预言了活动星系核的统一模型，最早提出星系中心存在超大质量黑洞。在宇宙学方面，泽尔多维奇独立于美国物理学家，提出了热大爆炸宇宙模型中轻元素核合成的理论，计算了宇宙中氢、氦等轻元素的丰度，与观测结果高度吻合。他是最早意识到宇宙微波背景辐射重要性的理论家之一，还提出了宇宙大尺度结构形成的"煎饼模型"。

泽尔多维奇以其惊人的科学直觉和创造力著称，能够快速在不同研究领域间转换并做出重大发现。他一生共发表了数百篇学术论文，培养了大批优秀理论物理学家，包括诺维科夫、苏尼亚耶夫等著名天体物理学家。苏尼亚耶夫-泽尔多维奇效应（即宇宙微波背景辐射与星系团中热电子相互作用产生的效应）至今仍是宇宙学研究的重要工具。1987年，泽尔多维奇在莫斯科逝世，享年73岁。尽管他因参与苏联国防研究无法获得诺贝尔奖，但他被公认为20世纪最伟大的理论物理学家和天体物理学家之一。