天水因“天河注水”的傳說而得名。夏、商時期屬雍州。周孝王十二年（公元前九世紀）贏非子在秦池（今張家川縣城南一帶）為王室養(yǎng)馬有功被封于秦，號贏秦。秦即后世的秦亭，是今天水市轄區(qū)見于史籍的最早地名。秦武公十年（前688年），秦滅邽戎、冀戎，置邽（今天水市城區(qū)）、冀（今甘谷縣東）二縣，這是中國歷史上設置最早的兩個縣級建置。秦昭王二十八年（279年），設隴西郡。

西漢武帝元鼎三年（前114年），從隴西、北地二郡析置天水郡。從此有“天水”的名稱。三國魏黃初元年（220年）一度設秦州，因秦邑而得名。晉泰始五年（269年）正式設秦州，今轄區(qū)大部分由秦州天水郡轄。隋唐時秦州地域和今轄區(qū)大體相當。元代，秦州轄成紀、秦安、清水3縣。明代，秦州轄秦安、清水、禮縣3縣。清雍正七年（1729年），秦州升為直隸州，直隸甘肅省，轄秦安、清水、兩當、徽縣、禮縣5縣。

民國二年（1913年）2月，改稱隴南道。撤秦州設天水縣。民國三年1月，寧遠縣改稱武山縣。6月，隴南道改稱渭川道，轄14縣。民國十六年（1927年）7月，渭川道改稱渭川行政區(qū)。不久，撤銷行政區(qū)，實行純粹的省縣二級制。民國十八年（1929年），伏羌縣改名甘谷縣。民國二十三年（1934年），甘肅省政府設立天水行政督察區(qū)。次年，改稱甘肅省第四行政督察區(qū)，轄10縣。

1949年8月3日，天水縣解放。8月15日，天水分區(qū)行政督察區(qū)成立，轄天水、甘谷、武山、徽縣、兩當、通渭、秦安、清水8縣。同年12月，天水分區(qū)改稱天水專區(qū)。1950年2月，析天水縣置天水市，以城區(qū)為天水市的行政區(qū)域。5月25日，平?jīng)鰧^(qū)析出莊浪縣劃歸天水專區(qū)；撤銷岷縣專區(qū)，所屬隴西、漳縣劃歸天水專區(qū)。天水專區(qū)轄天水市及天水、秦安、徽縣、兩當、武山、漳縣、甘谷、清水、莊浪、隴西、通渭11縣，81個區(qū)公所，614個鄉(xiāng)。1952年，天水專區(qū)轄91個區(qū)公所，635個鄉(xiāng)。

1953年7月6日，將清水、秦安、莊浪、隴縣38鄉(xiāng)合并成立張家川回族自治區(qū)（1955年10月改稱縣），屬天水專區(qū)。同年底，天水專區(qū)轄1市12縣887個鄉(xiāng)。1956年1月，天水專區(qū)的隴西縣、通渭縣劃歸定西專區(qū)，武都專區(qū)的禮縣、西和、成縣劃歸天水專區(qū)，天水專區(qū)的莊浪縣劃歸平?jīng)鰧^(qū)。同年底，天水專區(qū)轄天水市及天水、秦安、禮縣、西和、成縣、徽縣、兩當、武山、漳縣、甘谷、清水、張家川12縣，67個區(qū)，531個鄉(xiāng)，9個鎮(zhèn)，9個街道辦事處。

1958年4月4日，撤銷兩當并入徽縣。4月8日，撤銷武都專區(qū)，所轄宕昌、文縣、武都、康縣、岷縣5縣劃歸天水專區(qū)。9月5日，撤銷西和縣、禮縣，合并成立西禮縣；撤銷徽縣、成縣，合并成立徽成縣。12月16日，天水專區(qū)的岷縣劃歸定西專區(qū)。12月20日，撤銷天水縣劃歸天水市；甘谷、漳縣、武山合并成立武山縣；撤銷張家川縣和清水縣，合并成立清水回族自治縣。同年實現(xiàn)人民公社化，實行政社合一體制。天水專區(qū)轄天水市及秦安、清水、武山、西禮、徽成、武都、文縣8縣，129個公社，4個街道辦事處。

1961年11月5日，恢復武都專區(qū)。原劃歸天水專區(qū)的武都、宕昌、康縣、成縣、文縣仍劃歸武都專區(qū)。12月15日，恢復天水、甘谷、漳縣、兩當、西和、禮縣、清水縣和張家川回族自治縣。漳縣劃歸臨洮專區(qū)。至年底，天水專區(qū)轄天水市及天水、西和、禮縣、徽縣、兩當、武山、甘谷、秦安、清水、張家川等10個縣，60個區(qū)，440個公社，4個街道辦事處。

1963年10月23日，撤銷臨洮專區(qū)，將其所屬漳縣劃歸天水專區(qū)。天水專區(qū)轄1市11縣，482個公社，3個鎮(zhèn)，4個街道辦事處。1969年10月1日，天水專區(qū)改稱天水地區(qū)。轄天水市、天水縣、甘谷縣、武山縣、清水縣、張川縣、秦安縣、徽縣、兩當縣、禮縣、漳縣等1市11縣，223個公社，5個鎮(zhèn)，4個街道辦事處。1980年，天水地區(qū)轄1市11縣，232個公社，5個鎮(zhèn)，8個街道辦事處。1983年，政社分設，改社為鄉(xiāng)。

1985年7月8日，國務院批準，撤銷天水地區(qū)，天水市升為地級市。撤銷天水縣、將其行政區(qū)域并入天水市。天水市設立秦城、北道兩區(qū)。以天水縣西南17鄉(xiāng)及原天水市（縣級）轄區(qū)設秦城區(qū)，以天水縣東南、西北其余22鄉(xiāng)和北道鎮(zhèn)設北道區(qū)。天水市人民政府駐秦城區(qū)。將原天水地區(qū)的徽縣、兩當、西和、禮縣劃歸新成立的隴南地區(qū)；漳縣劃歸定西地區(qū)。天水市轄兩區(qū)五縣；即秦城、北道兩區(qū)，秦安、清水、張家川、甘谷、武山等5縣，138個鄉(xiāng)，11個鎮(zhèn)，11個街道辦事處。

2000年第五次人口普查，天水市常住總?cè)丝?219323人，其中，秦城區(qū)604070人、北道區(qū)542916人、清水縣279207人、秦安縣545273人、甘谷縣553377人、武山縣399911人、張家川回族自治縣294569人。2002年末，天水市轄秦城、北道2區(qū)，秦安、清水、甘谷、武山、張家川回族自治縣5縣，40個鎮(zhèn)、109個鄉(xiāng)、11個街道。2003年，全市共撤并鄉(xiāng)鎮(zhèn)36個、街道1個；調(diào)整后，天水市轄113個鄉(xiāng)鎮(zhèn)（46個鎮(zhèn)，67個鄉(xiāng)）、10個街道。

2004年9月30日，民政部批準（民函[2004]244號）同意天水市秦城區(qū)更名為秦州區(qū)、北道區(qū)更名為麥積區(qū)；（甘肅省人民政府2004年11月2日批準 甘政函[2004]99號）。2005年1月1日，兩區(qū)正式更名。

2010年第六次人口普查，天水市常住總?cè)丝?262548人，其中，秦州區(qū)643906人，麥積區(qū)553268人，清水縣266908人，秦安縣515423人，甘谷縣559712人，武山縣437268人，張家川縣286063人。

2015年，省民政廳（甘民復〔2015〕12號）批復同意：秦州區(qū)撤銷中梁鄉(xiāng)，設立中梁鎮(zhèn)；麥積區(qū)撤銷三岔鄉(xiāng)，設立三岔鎮(zhèn)；清水縣撤銷白沙鄉(xiāng)，設立白沙鎮(zhèn)；秦安縣撤銷五營鄉(xiāng)、葉堡鄉(xiāng)、魏店鄉(xiāng)，設立五營鎮(zhèn)、葉堡鎮(zhèn)、魏店鎮(zhèn)；甘谷縣撤銷金山鄉(xiāng)，設立金山鎮(zhèn)；武山縣撤銷山丹鄉(xiāng)，設立山丹鎮(zhèn)；張家川縣撤銷馬鹿鄉(xiāng)，設立馬鹿鎮(zhèn)。同年，省民政廳（甘民復〔2015〕113號）批復同意：秦州區(qū)撤銷大門鄉(xiāng)、楊家寺鄉(xiāng)、齊壽鄉(xiāng)，設立大門鎮(zhèn)、楊家寺鎮(zhèn)、齊壽鎮(zhèn)；麥積區(qū)撤銷利橋鄉(xiāng)、琥珀鄉(xiāng)，設立利橋鎮(zhèn)、琥珀鎮(zhèn)；清水縣撤銷王河鄉(xiāng)、郭川鄉(xiāng)、黃門鄉(xiāng)，設立王河鎮(zhèn)、郭川鎮(zhèn)、黃門鎮(zhèn)；秦安縣撤銷千戶鄉(xiāng)、興豐鄉(xiāng)、安伏鄉(xiāng)、王尹鄉(xiāng)，設立千戶鎮(zhèn)、興豐鎮(zhèn)、安伏鎮(zhèn)、王尹鎮(zhèn)；甘谷縣撤銷大石鄉(xiāng)、禮辛鄉(xiāng)、武家河鄉(xiāng)、大莊鄉(xiāng)，設立大石鎮(zhèn)、禮辛鎮(zhèn)、武家河鎮(zhèn)、大莊鎮(zhèn)；武山縣撤銷溫泉鄉(xiāng)、龍臺鄉(xiāng)、樺林鄉(xiāng)、榆盤鄉(xiāng)，設立溫泉鎮(zhèn)、龍臺鎮(zhèn)、樺林鎮(zhèn)、榆盤鎮(zhèn)；張家川縣撤銷馬關鄉(xiāng)、梁山鄉(xiāng)，設立馬關鎮(zhèn)、梁山鎮(zhèn)。