考王赐春申君淮北12县，境内为其封邑；秦灭楚后，于境内置徐县，属泗水郡。楚汉之际属西楚，徐县曾为其东阳郡治。汉：西汉初属楚国，后属彭城郡（沛郡）；武帝元狩六年（前117年），置临淮郡，徐为郡治，辖徐、高平（约今县西南部）等29县；新莽改临淮郡为淮平郡，徐县为徐调，高平为高丘。东汉光武初，并临淮郡入东海郡；明帝永平十五年（72年），以原临淮郡地置下邳国，都下邳（一说都徐县），时高乎县裁撤。
三国：属魏国下邳郡。晋：西晋太康元年（280年），分下邳属县置临淮郡于眙，徐县属之；元康七年（297年），分临淮郡置淮陵郡，徐改属之。东晋淮陵侨置江南堂邑郡（即武进）；义熙七年（411年），分淮北为北徐州。徐县仍属淮陵郡。南北朝：刘宋武帝初，仍为淮陵郡，徐县仍隶之；自北魏登国至承明年间（386~476年），为下邳郡：太和中（477~499年），兼置南徐州；梁天监八年（509年），改东徐州。
置东平、阳平、朱沛、修仪、高平等郡；东魏天平年间（534~537年），改为东楚州，先后兼置高平郡、安远郡。武定七年（549年），置高平郡，治于大徐城，辖高平、朱沛、白水、裹邑4县。北周大成元年（579年），改原东楚州为泗州，治宿豫，泗州之名从此始。境内仍属高平郡，朱沛县并入高平县。隋：开皇十八年（598年），废高平郡，更名徐城县，属下邳郡；后又改为泗州。
唐：初为徐城县。武则天长安四年（704年），析徐城县南境为临淮县，仍属泗州。开元年间（713~741年），泗州徙治临淮，泗州城始定名；天宝元年（742年），更名临淮郡；至德元年（756年），复为泗州，隶属河南道。此后所隶不常，辖6县：临淮、涟水、徐城、下邳、宿迁、虹县。后改宿迁隶徐州，虹县隶宿州，尚辖4县。
五代：仍沿唐制。为南唐所据，建置静淮军；后周显德五年（958年），周世宗伐取之，仍为泗州。宋：北宋建隆二年（961年），废徐城县；乾德元年（963年），以楚州之盱眙，濠州之招信来属；太平兴国三年（978年），割涟水县置涟水军，辖三县：临淮、盱眙、招信，属淮南路；景德三年（1006年），徙临淮县治徐城驿。
后隶淮南东路。南宋建炎年间（1127~1130年），被金人攻占。绍兴十一年（1141年），和议成，割让金，为泗州中防御使治所，属南京路，辖淮平（盱眙县前身）、虹县、临淮、睢宁4县。后金宋争夺不休，境地为金、宋辖属更替两复。元：置行省、路（府）、军（州）、县4级建置，仍为泗州，辖5县：临淮、淮平、虹县、灵壁、雕宁，隶淮安路；至元十六年（1279年），割雕宁隶邳州，后割灵壁隶宿州，以五河来属；至元二十一年（1284年），并淮平入临淮，后废临淮府，以盱眙、天长来属，隶河南行省；至正年间（1341~1368年），扬州置淮南行省，泗州属之。
