1839 року Бельке одружився з Софією з небагатого, але відомого роду Ростовських. У Софії та Густава було п'ять дітей: син і чотири дочки. Діти не продовжили справи батька щодо дослідження природи Поділля.
Не маючи класичної університетської освіти, Густав Бельке у вільний від роботи час самотужки — за допомогою лекцій Віденського університету — здобував знання про природу. Його цікавили різні наукові аспекти, але найбільше — гіпотези про походження життя, сучасні наукові погляди того часу на розвиток органічного світу… Оскільки даних про флору та фауну Подільського регіону не було, Бельке сам у вільний час вивчав природу рідного краю, складав бібліографію з природничої тематики, узявся за удосконалення зоологічної термінології.
Багаторічні дослідження природи в Кам'янці-Подільському та його околицях Бельке виклав у кількох працях. Найвідомішими з них є «Короткий нарис історії натуральної Кам'янця Подільського» (видано 1858 року у Варшаві) та «Нарис історії натуральної Кам'янця-Подільського» (видано 1859 року у Варшаві польською та в Москві французькою мовами). У цих працях подано дані про рослини і тварини на території від містечка Смотрич (нині селище міського типу Дунаєвецького району) на півночі до Жванця на півдні, від Оринина на північному заході до сіл Китайгород і Демшин на сході та південному сході. Крім того, ці роботи містять ретельний аналіз дослідження природи Подільського регіону за попередні роки та століття.

Останньою працею Бельке, яка завершила кам'янецький етап його творчості, була «Погляд на історію палеонтології і палеозойську фауну Росії та Польщі». Цю роботу було представлено на засіданні Товариства подільських лікарів 15 лютого 1860 року та надруковано в Петербурзі 1862 року.

1860 року Бельке разом із родиною поселився в помісті Продубівка, яке перейшло в спадщину дружині Софії. Це Радомисльський повіт на кордоні з Київським Поліссям. Густав Бельке і тут досліджував природу — тепер уже Поліського краю. 1866 року в Москві побачила світ його «історія натуральна Радомисля», а в Житомирі було надруковано дві його праці: «Про сарану та терміни її розмноження» (1860), «Про оводів, шкідливих для господарства…» (1861).

Запрошений на посаду професора кафедри ботаніки Краківського університету, Бельке відмовився від пропозиції, мотивуючи це тим, що не має класичної природничої освіти.

У червні 1872 року у вченого розвинулася хвороба серця. Помер 3 березня 1875 року в Києві. Поховано на Байковову кладовищі