פילאטיס נולד בתאריך 9.12.1883 במנשנגלדבך, גרמניה.
עיר קטנה מערבית לדיסלדורף הסמוכה לגבול ההולנדי.
אביו היינריך דיטריך יליד העיירה, היה מסגר בנאי, ספורטאי מצטיין זוכה מדליות באתלטיקה קלה 

ומתאגרף ממוצא יווני.


אמו הלנה הייתה נטורפטית ממוצא גרמני. היא ילדה את ג׳ו בגיל 23. 
ג'וזף נולד ילד שני מתוך תשעה ילדים, אימו נפטרה בשנת 1901 כשגו׳ היה בן 18.
גו׳ נולד לבית בו חינוך עמוק לבריאות וכבוד גדול לגוף, החשיבות לטפח את הגוף חיוני, חזק ומתפתח.
אביו הדביק אותו בהתלהבות להתעמלות, אגרוף ואתלטיקה.

הוא היה ילד חולני מאוד, סבל מאסטמה קשה, ממחלת רככת בה העצמות נוטות להשאר רכות ולא להתקשות כראוי ומקדחת השגרון שהיא מחלה דלקתית רב מערכתית היוצרת זיהום בדרכי האוויר. 
ילדים לעגו לו, צחקו עליו והטרידו אותו כי שמו קושר לפונטיוס פילאטוס שלפי הברית החדשה, היה הנציב הרומי ביהודה אשר השגיח על משפטו של ישו ונתן את ההוראה לצליבתו.
בגיל 5 סבל גו׳ מבריונות ע״י ילדים בעירו, הם זרקו עליו אבנים ופצעו אותו עם אבן חדה, הוא נפצע בעינו הימנית הכחולה, איבד את הראייה ונשאר עם פזילה קבוע.
גו׳ היה חלש, חסר אונים ולא יכל להגן על עצמו.