临夏历史悠久，是远古人类生息繁衍地之一，五千年前就有先民居住生活。战国时，现市境为罕羌候邑，后秦国灭罕羌候，置县，市地属之。西汉初，建枹罕县，属陇西郡。昭帝始元六年（前81），枹罕县改属金城郡。东汉建武十二年（36），撤金城郡，枹罕县又改属陇西郡。中平元年（184）十一月，枹罕宋建割据自立，建元置百宫，号“河首平汉王”。建安十九年（214），曹操将夏侯渊讨灭宋健。三国时，市境属魏枹罕县，初辖于秦州陇西郡。惠帝时，市地属枹罕护军。黄初年间枹罕县属雍州陇西郡。
西晋永晋年中（301-302），枹罕县属晋兴郡市地属之。十六国时，前凉张骏太元二十一年（344），分凉州地置河州，河州之名自此始。枹罕属河州兴晋郡，州、郡均治枹罕。县治设于今临夏市境。前秦建元三年（367），枹罕属前秦凉州，州治枹罕；建元七年（371），枹罕属河州兴晋郡，州、郡增治于枹罕。西秦太初二年（389）枹罕属乾归分设之北河州、北河州，仍治枹罕。后秦弘始二年（400），姚兴攻西秦取枹罕，属河州，州治枹罕，仍归乞伏氏统辖。西秦更始九年（409），乾归复夺地兴国。西秦炽磐永康元年（412）十月乞伏炽磐自谭郊迁都于枹罕。乞伏暮末永弘四年（431），被夏攻灭，西秦亡，地归吐谷浑。北魏太平真君六年（445），改河州为枹罕镇。北魏太和十六年（492），撤镇复置河州。西魏复置枹罕县，属河州枹罕郡，州、均治枹罕。北周如西魏制，枹罕县仍旧。
隋开皇三年（583）废枹罕郡，枹罕县属河州，州治枹罕。大业三年（607），河州改枹罕郡，枹罕县属之。隋末为金城校尉薛举所据。唐武德元年（618），平李轨复置河州，辖枹罕县，治所枹罕。天保元年（742），改河州为安乡郡，辖枹罕县。宝应元年（762）福柑为吐蕃占领。北宋初，吐蕃王族后裔角厮猡之孙木征据河州。熙宁六年（1073），王韶率宋军收复河州，置枹罕县，属熙河路。在州西一十五里置阎精堡（今枹罕拜家庄古城址）。熙宁九年（1076）省枹罕县，县地属河州安乡县。州治迁宁河。南宋初因之。金天会九年（1131），金取河州。皇统二年（1142），州治枹罕，属熙秦路总管府。贞元二年（1154）复置枹罕县于河州治。金大定二十七年（1187）枹罕县属临洮路。
蒙古汗国成吉思汗二十一年（1227），蒙古攻占河州。初属陕西行中书省巩昌路。蒙古汗国宪宗三年（1253）在河州设吐蕃等处，宣慰使司都元帅府。至元六年（1269）河州改河州路，省枹罕县，地属安乡县，吐蕃等处宣慰使司、河州路均治枹罕。明洪武四年（1371），废县置河州卫，属
西安行都卫。六年（1373）置河州府辖安乡县，市境属之，州府治今市区。七年（1374）七月，置西安行都卫置于河州，十年（1377）分河州为左、右二卫，属陕西行都志辉使司。十二年（1379）七月废河州府并安乡县。并河州左卫于洮州，升右卫为河州军民指挥使司，统管军民，治今城区，仍属陕西都指挥使司。成化九年（1473）十二月，复置河州，属陕西临洮府，改河州军民指挥使司为河州卫。
1956年11月，临夏回族自治州成立，成为全国仅有的两个回族自治州之一。1958年12月20日，国务院决定，撤销临夏县、永靖县建制，将两县区域划归临夏市。1961年12月15日，恢复临夏、永靖县建制。1973年12月15日，
甘肃省革委会通知，执行国务院1964年6月5日“撤销临夏市，将行政区域划归临夏县，县址设在韩家集镇”的决定，撤市并县，但县址由韩家集改迁临夏市。1983年8月31日，国务院批复恢复临夏市建制（县级），以原临夏县的城关镇及城关、折桥、枹罕、南龙四个乡为临夏市的行政辖区。
临夏是沟通中原与西域政治、经济、文化的纽带，古
丝绸之路南道之要冲，唐蕃
古道之重镇，享有“河湟雄镇”之美誉，成为历代兵家必争之地。丝绸之路、唐蕃古道、甘川古道在这里交错伸展，形成了当年商贾云集、一派繁荣的茶马互市，被赞誉为“西部旱码头”。
