הרצל עזב את הבית במאי 1890, כשבתו הבכורה פאולינה היתה תינוקת בת חודשיים. הוא רצה להתגרש, ולהוריו כתב: "אני חושב עליכם תמיד. פרט לסבל שגרמה לכם בחירתי האומללה, לא אגרום לכם עוד כאב".

אשתו של הרצל, ז'ולי, נפטרה בגיל 39, בשנת 1907, ככל הנראה ממחלת לב. היא ביקשה שישרפו את גופתה. הצנצנת עם האפר הופקדה למשמרת בידי בנה האנס. באחד ממסעותיו, שכח את הצנצנת ברכבת והיא נעלמה.

באוקטובר 1898 הגיע הרצל יחד עם משלחת קטנה לפלסטינה. הוא לא ידע שהמשטרה התורכית עוקבת אחריו באמצעות מנדל קרמר, מודיע יהודי שעבד במשטרה, שבכיסו היה צו מעצר חתום נגד הרצל, למקרה שיפרצו מהומות בגלל בואו.

שתו של הרצל, ז'ולי, נפטרה בגיל 39, בשנת 1907, ככל הנראה ממחלת לב. היא ביקשה שישרפו את גופתה. הצנצנת עם האפר הופקדה למשמרת בידי בנה האנס. באחד ממסעותיו, שכח את הצנצנת ברכבת והיא נעלמה.

 

בתו הבכורה של הרצל, פאולינה, ניהלה סדרה של רומנים שערורייתיים בנעוריה, עברה כמה וכמה אשפוזים פסיכיאטריים, התחתנה, התגרשה והתגלגלה לעיר בורדו בצרפת, שם התמכרה למורפיום, נעצרה בעוון שוטטות, ומתה בשנת 1924, בגיל 40.

 

בנו האנס, שנולד ב-1891, לא נימול בלידתו וגם לא ניתן לו שם עברי. אחרי מותו של הרצל, ראתה בו התנועה הציונית יורש אפשרי, וארגנה לו טקס ברית מילה בגיל 15. זה לא קירב אותו ליהדות. האנס עבר אנליזה אצל יונג, והמיר את דתו כמה פעמים: הוא היה בפטיסט, קתולי, פרוטסטנטי, אוניטרי וקווייקר, בסוף ימיו ביקש לחזור ליהדות.

 

כשהידיעה על מותה של אחותו פאולינה הגיעה להאנס, נסע לבורדו, השאיר מכתב לבעל המלון שבו שהה והתנצל מראש על הלכלוך. אחר כך כתב: "כיוון שאיבדתי את היקר לי מכל, אין לי עוד עניין לחיות", והתאבד ביריה. הוא ביקש שגופתו וגופת אחותו ייקברו יחד.

 

הבת הצעירה, טרודה, נישאה וילדה את הנכד היחיד של הרצל, סטפן תיאודור. מייד אחרי הלידה אושפזה בבית חולים פסיכיאטרי כמעט לצמיתות. כשהנאצים פינו את המאושפזים היהודים מבית החולים הפסיכיאטרי של וינה, נשלחה למחנה טרייזנשטאט, שם מתה מרעב במרס 1943.