北宋时期，上海大陆地区分属华亭县和昆山县，崇明地区属海门县。
南宋嘉定十年十二月初九（1218年1月7日）立嘉定县，上海地区始有两个独立行政区划。
元至元十四年（1277年），华亭县升府，次年改称松江府，仍置华亭县隶之。至元二十九年上海县立，也辖于松江府。元代后期，上海地区有松江府和嘉定、崇明2州及华亭、上海2县。
明末，有松江府及所属华亭、上海、青浦3县，苏州府所属嘉定、崇明2县，金山卫。至清雍正四年（1726年），有松江府华亭、上海、青浦、娄、奉贤、福泉、金山、南汇8县，太仓州嘉定、宝山2县。到嘉庆十年（1805年），上海地区基本形成10县1厅的格局，有松江府华亭、上海、青浦、娄、奉贤、金山、南汇7县及川沙抚民厅，太仓州嘉定、崇明、宝山3县。
宋熙宁十年（1077年），有上海务之设。元代上海立县，面积约2000平方公里，县域约今吴淞江故道以南市区、青浦县大部、闵行区大部、浦东新区大部和南汇县。到清嘉庆十五年（1810年）缩存600平方公里，县域约今吴淞江故道以南市区、浦东新区大部、闵行区大部。县城为今南市区人民路、中华路环线内区域。
道光二十三年（1843年）上海开埠，道光二十五年上海县洋泾浜以北一带划为洋人居留地，后形成英租界。道光二十八年以虹口一带划为美租界。道光二十九年以上海县城以北、英租界以南一带为法租界。同治二年（1863年），英、美租界合并为英美公共租界，光绪二十五年（1899年）又改称为上海国际公共租界。此后，租界多次扩大。1943年7月30日和8月1日，汪伪政府宣布“收回”公共租界和法租界。1945年11月24日，国民政府外交部宣布接收上海公共租界、法租界，历时百年的上海租界结束。
1912年1月，中华民国成立。裁松江府、太仓州，上海地区属江苏省，有上海、华亭（后改名松江）、嘉定、宝山、川沙、南汇、奉贤、金山、青浦、崇明等10县。1914年，江苏省划分为沪海等5道，其中沪海道驻上海县，辖今属上海市的上海、松江、南汇、青浦、奉贤、金山、川沙、嘉定、宝山、崇明等县以及今属江苏省的海门县。1925年，北洋政府允准上海改为淞沪市。
1927年7月7日，上海特别市成立，直辖于中央政府，上海始有直辖市一级建置。1928年春，上海特别市宣布租界为特别区。7月，接收上海县属上海（沪南）、闸北、蒲淞、洋泾、引翔港、法华、漕河泾、高行、陆行、塘桥、杨思和宝山县吴淞、殷行、江湾、彭浦、真如 、高桥等17市乡，为上海特别市的实际境域，面积494.69平方公里（不含租界）。并改17市乡为17区，上海始有区一级建置。上海地区的上海、嘉定、宝山、松江、川沙、青浦、南汇、奉贤、金山、崇明10县仍隶属江苏省。1930年7月，上海特别市改称上海市。1937年11月上海沦陷。次年12月，江苏省川沙、南汇、奉贤、崇明、宝山、嘉定等县和上海县浦西地区划归汪伪上海市政府管辖。1945年8月，上海市仍为战前17个区和特别区。1947年全市面积617.95平方公里。1948年12月全市划分为30个区。
1949年5月27日上海解放。
1949年10月1日，中华人民共和国成立。上海仍为中央直辖市。全市划分为20个市区和10个郊区。1956年6月，全市辖15个市区和3个郊区。1958年1月、11～12月江苏省上海、宝山、嘉定、松江、川沙、南汇、奉贤、金山、青浦、崇明等10县先后划入上海市，上海市有14个区、11个县。1960年1月，有12个区和11个县。1960年3月，浙江省舟山县嵊泗人民公社划属上海市。1961年上海市辖12区、10县。1962年嵊泗又划归浙江省，1964年5月辖10区10县。1980年辖11区10县。1981年辖12区10县。1988年辖12区9县。1992年辖14区7县。1993年1月1日，撤销川沙县，以川沙县全境以及黄浦区、南市区、杨浦区浦东地区和上海县部分地区建浦东新区。1995年，全市辖浦东新区、徐汇、长宁、普陀、闸北、虹口、杨浦、黄浦、南市、卢湾、静安、宝山、闵行、嘉定等14区和南汇、奉贤、松江、金山、青浦、崇明等6县，有106个街道、208个镇、10个乡和3590个居民委员会、2986个行政村。面积6340.5平方公里，其中陆地面积6218.65平方公里、水面积697平方公里。