潘姓主要源自姬姓，是周文王姬昌的後代，在西周初期的時候，周文王的第15個兒子畢公高賜封於畢地，而建立了畢國，畢公高的兒子季孫又封於潘地，最終以邑爲姓形成了潘姓氏族。當然還有少部分則是和其他姓氏一樣，源自少數民族改姓而來。
潘姓起源和來歷1. 起源自姬姓
在《五德志》中就曾經提到“姬姓的別姓分支很多，比如潘姓、養姓等”，而《廣韻》一書中也提到周文王的孫子、畢公高的兒子季孫被封於潘地，季孫姓姬，他是姬友的兒子，季是他的氏，孫則是尊稱，他是當時魯國的貴族，最終也成爲了潘姓的得姓始祖，當時他的後人都以潘地的地名爲姓。
2. 源自羋姓
這一說法主要來自《通志·氏族略》，據說羋姓潘氏的始祖主要是潘崇，當時他主要輔佐楚穆王，因爲顓頊後裔陸終的兒子季連被賜姓爲羋，所以楚穆王也傳承了羋姓，而他的大臣潘崇則因爲有功所以被封爲太師，子孫就以潘爲姓了。
3.起源自少數民族改姓
鮮卑族改姓:北魏時期孝文帝進行了漢化改革，當時鮮卑族的破多羅氏被改爲了潘姓，還有清朝康熙年間，臺灣省的酋長歸順清朝政府，便被賜姓爲潘，光緒年間又有大批的高山族人歸順朝廷，於是也被賜姓潘，所以現代臺灣省不少高山族人都是姓潘的。
其他少數民族改姓:與趙姓的起源和來歷一樣，潘姓也一樣還有其他的少數民族改姓而來，其中包含了土家族、瑤族、回族、壯族以及京族等，基本上都是漢化而來的，就算是現代還有一些潘姓氏族居住在朝鮮半島或者越南境內。
