Podrijetlo toponima Pribislavec izvodi se prema osobnom imenu Pribislav. Godine 1367., u vrijeme kada je Međimurjem gospodarila obitelj Lacković, Pribislavec se navodi kao possessio Pobozlouhaza . Prema tome Pribislavec se prvi puta u povijesti spominje nakon prvog poznatog popisa katoličkih župa 1334. godine u Zagrebačkoj biskupiji, a prije osnutka pavlinskog samostana 1376. godine u današnjem Šenkovcu. Pribislavec je sigurno već 1334. godine pripadao župi sv. Mihovila sa sjedištem u današnjem Mihovljanu.
Činjenica da se spominje 1367. godine ne znači da je te godine utemeljen. Utemeljen je svakako mnogo prije, međutim za precizno utvrđivanje kada, nedostaju pouzdani izvori. I to prvo spominjanje samo je uzgredno. Pribislavec se spominje kao posjed koji graniči s Belicom. Međutim, posve je sigurno da tih godina druge polovine 14 stoljeća uz posjed Pribislavec, postojalo i naselje. Pribislavec je svako vrlo staro međimursko naselje.
Iz ranijeg opisa saznajemo da je 1831. godine u selu bio lijepi dvorac oko kojeg su bili uređeni vrtovi. Današnji dvorac Kaštel u Pribislavcu sagrađen je 1870. godine na mjestu ranijeg dvorca. Gradio ga je grof Juraj Feštetić u neogotičkom stilu.

Grb obitelji Feštetić	Ignac Varga 1883 - 1949 , oženjen jedan od dvojce dvorjanika grofa Eugena Feštetića u  Kaštelu Pribislavec u odori dvorjanika s kravatom na trokut. Fotografija načinjena oko 1909/10 g.	Antun Kovačić u službenoj odori dvorjanika