Николай Дроздов был женат дважды. В студенчестве – в 1956 году – он сочетался браком с девушкой по имени Инна, этот союз продержался недолго. У супругов родилась дочь Надежда, и они вскоре расстались. «Уже в том возрасте я любил путешествовать, может, ей это не нравилось. Мы разошлись без конфликта», – делился ведущий.
Девочка проводила время с обоими родителями одинаково: неделю жила с мамой, а неделю проводила с папой. Надежда и внешне, и характером похожа на отца. Она окончила географический факультет МГУ, работала в Академии наук, а также владела турфирмой и ездила в экспедиции. В 90-х Надежда вела передачу «Очень дальнее Подмосковье» на телеканале «Московия».
Старшая дочь Дроздова некоторое время жила в Таиланде, потом вернулась в Москву. Семьи у нее нет, в 2018 году появилась информация, что Надежда неудачно упала и сломала позвоночник. Ведущий помогал дочери с лечением и восстановлением.
После развода Николай Николаевич 20 лет оставался один. «Я долго не женился, и мне все говорили: «Ты, Коля, наверное, жену из экспедиции привезешь – из Америки или Таиланда!» А она всего двумя этажами ниже жила. Я – на седьмом, Таня – на пятом. В лифте познакомились. Не представляю, как бы я жил без нее», – рассказывал зоолог в одном из интервью.
В сентябре 1978 года Дроздов расписался со своей соседкой Татьяной Петровной. У них родилась дочь Елена. Ей передалась любовь отца к животным, и девушка вначале стала ветеринаром. Елена вышла замуж за повара и в 2004 году родила первенца – сына Филарета. Мальчика назвали в честь прадеда Николая. Филарет отучился в Московском кадетском училище имени М. А. Шолохова – тоже по настоянию Дроздова.
«С таким красивым именем Филарет не может вырасти плохим человеком, совершать дурные поступки. По крайней мере, так нам хочется думать. Должна быть ответственность и высокая духовность у человека, носящего это имя», – говорил о своем внуке Николай Николаевич.
В 2009 году семья младшей дочери Дроздова решила переехать в Австралию, где Елена пошла учиться на дизайнера. В 2010 году у пары родился еще один сын, Ян. Через три года Елена рассталась с мужем и вернулась с сыновьями в Москву. Здесь она продолжила искать себя, пробуя реализоваться в сфере психологии, фотографии, йоги, изобразительного искусства.
Николай Николаевич рад, что может проводить больше времени с внуками. В 2018 году в программе «Секрет на миллион» Дроздов говорил, что его старший внук трудолюбивый, а младший – артистичный. На тот момент Филарет интересовался компьютерным программированием и мечтал создать свою компьютерную игру, а Ян увлекался всем понемногу и любил кормить родных завтраками по папиным рецептам.