Heaven and Hell é o primeiro álbum gravado pelo Black Sabbath após a saída de Ozzy Osbourne no início de 1979, devido a diferenças de opinião. Para substituir Osbourne, Ronnie James Dio, um cantor americano que no passado já havia se gabado de colaborar com grupos conhecidos como Elf e Rainbow de Ritchie Blackmore, foi contatado. O álbum também contou com a entrada do tecladista Geoff Nicholls (do Quartz), creditado como membro externo. Tanto Dio como Nicholls terão um papel decisivo dentro do grupo, sobretudo a nível técnico e composicional.
Graças a canções como Neon Knights, Heaven and Hell e Die Young, entre as mais marcantes da discografia do grupo, Heaven and Hell passou a ser o melhor resultado em termos de vendas desde 1975 (ano em que foi lançado Sabotage) e consequentemente foi premiado com um disco de platina nos Estados Unidos e três na Grã-Bretanha.
O lançamento foi seguido por uma turnê muito popular, graças ao carisma e dons vocais de Dio, muito apreciados pelos fãs. No entanto, durante essa turnê Bill Ward, que tocou todas as partes de bateria do álbum, teve que se aposentar devido a problemas pessoais e seu vício em álcool, sendo substituído por Vinny Appice, que completou a turnê.
Em junho de 2017, a revista Rolling Stone classificou o álbum em 37º dos 100 melhores álbuns de metal de todos os tempos.
A canção Heaven and Hell aparece no videogame Grand Theft Auto IV como uma das canções transmitidas na estação de rádio fictícia Liberty Rock Radio.