Dokładna data budowy pierwszego pałacu w Józefowie nie jest znana. Samo miasto swoją nazwę zawdzięcza synowi hetmana wielkiego koronnego Andrzeja Potockiego.