Добился выдающихся научных результатов в таких разделах физики, как макроскопическая кинетика, физика элементарных частиц и космология. Разработанная им эволюция «чёрных дыр» вошла в учебники по астрофизике. Яков Борисович существенно развил теорию «горячей» Вселенной, сформулированы идеи образования Галактики, искажения спектра реликтового излучения. Также он внёс большой вклад в развитие теории гомогенных реакторов на тепловых нейтронах и в теорию резонансного поглощения нейтронов ядрами урана-238, предсказал мюонный катализ.
Удостоен Ленинской премии и трижды звания Героя Социалистического Труда СССР (1949, 1951, 1954).
На почтовой марке изображен портрет Я.Б. Зельдовича.