De Niro Sr era pintor e teve casos com Tenessee Williams e com o também pintor Jackson Pollock. Seu companheiro até o fim da vida foi o poeta Robert Duncan. John Baxter, autor de "De Niro: Uma Biografia", afirma que De Niro Sr teve apenas um breve período em que viveu como heterossexual, justamente quando casou com a mãe de seu filho, a pintora Virginia Admiral, e viveu com ela por um curto período durante a Segunda Guerra Mundial.