張掖，取“張國(guó)臂掖，以通西域”之意而得名，史稱甘州。西漢元鼎六年（前111）析武威郡置張掖郡。隋初廢張掖郡為甘州。元為甘州路及山丹州地，屬甘肅行省。1912年為甘涼道地。

1949年設(shè)張掖專區(qū)，專署駐張掖縣，轄張掖、臨澤、高臺(tái)、山丹、民樂5縣。1950年撤銷張掖專區(qū)，高臺(tái)、臨澤2縣劃歸酒泉專區(qū)，張掖、民樂、山丹3縣劃歸武威專區(qū)。

1955年復(fù)設(shè)張掖專區(qū)，專署駐酒泉縣。原武威專區(qū)所屬?gòu)堃?、山丹、永昌、民勤、武威、古浪、景泰、永登、民樂?縣及天祝藏族自治縣（原天祝藏族自治區(qū)改），原酒泉專區(qū)所屬臨澤、高臺(tái)、酒泉、玉門、安西、敦煌、金塔、鼎新等8縣及肅北蒙古族自治縣（原肅北蒙族自治區(qū)改）、肅南裕固族自治縣（原肅南裕固族自治區(qū)改）、阿克塞哈薩克族自治縣（原阿克塞哈族自治區(qū)改，駐博羅轉(zhuǎn)井）劃歸張掖專區(qū)。原由酒泉專區(qū)代管的額濟(jì)納自治旗（原額濟(jì)納自治區(qū)改）劃歸張掖專區(qū)代管。轄17縣、4自治縣、1自治旗。

1956年，將景泰、永登2縣劃歸定西專區(qū)；撤銷鼎新縣，并入金塔縣；張掖專區(qū)代管的額濟(jì)納自治旗劃歸內(nèi)蒙古自治區(qū)；張掖專區(qū)轄14縣、4自治縣。1958年，撤銷張掖縣，設(shè)立張掖市；撤銷金塔、酒泉2縣，合并設(shè)立酒泉市；撤銷玉門縣，并入玉門市；張掖、酒泉、玉門3市交由張掖專署代管；撤銷臨澤縣，并入張掖、高臺(tái)2縣；撤銷民樂縣，并入山丹縣；撤銷古浪縣，并入天祝藏族自治縣。張掖專區(qū)轄3市、7縣、4自治縣，專署駐張掖市。

1961年，將酒泉、玉門2市及敦煌、安西2縣和肅北蒙古族自治縣（駐黨城灣）、阿克塞哈薩克族自治縣（駐博羅轉(zhuǎn)井）劃歸酒泉專區(qū)；武威、永昌、民勤3縣和天祝藏族自治縣劃歸武威專區(qū)；撤銷張掖市，恢復(fù)張掖、臨澤（駐沙河堡）、民樂3縣；張掖專署駐張掖縣，轄5縣、1自治縣。1970年張掖專區(qū)改稱張掖地區(qū)，轄張掖、民樂、臨澤（駐沙河堡）、高臺(tái)、山丹等5縣及肅南裕固族自治縣（駐紅灣寺）。

1985年，張掖縣改為張掖市。1996年，張掖地區(qū)面積4.1萬平方千米，人口122.2萬人，轄民樂、山丹、高臺(tái)、臨澤4縣及肅南裕固族自治縣，代管張掖市。地區(qū)行政公署駐張掖市。2000年第五次人口普查，張掖地區(qū)總?cè)丝?251754人，其中，張掖市486688人、肅南裕固族自治縣36678人、民樂縣230196人、臨澤縣144875人、高臺(tái)縣162159人、山丹縣191158人。

2002年3月1日，國(guó)務(wù)院批準(zhǔn)（國(guó)函[2002]16號(hào)）：（1）撤銷張掖地區(qū)和縣級(jí)張掖市，設(shè)立地級(jí)張掖市。市人民政府駐新設(shè)立的甘州區(qū)南環(huán)路。（2）張掖市設(shè)立甘州區(qū)，以原縣級(jí)張掖市的行政區(qū)域?yàn)楦手輩^(qū)的行政區(qū)域。區(qū)人民政府駐縣府街。（3）張掖市轄原張掖地區(qū)的臨澤縣、高臺(tái)縣、山丹縣、民樂縣、肅南裕固族自治縣和新設(shè)立的甘州區(qū)。

2003年，張掖市鄉(xiāng)鎮(zhèn)行政區(qū)劃調(diào)整方案：全市鄉(xiāng)鎮(zhèn)由93個(gè)撤并到57個(gè)，同時(shí)，配套推進(jìn)合并村社建制。

2009年末，全市常住人口128.81萬人，其中城鎮(zhèn)人口45.73萬人，鄉(xiāng)村人口83.08萬人。轄甘州區(qū)和山丹、民樂、臨澤、高臺(tái)、肅南五縣，共有60個(gè)鄉(xiāng)鎮(zhèn)、5個(gè)街道，840個(gè)行政村，5655個(gè)村民小組。

2010年第六次人口普查，張掖市常住總?cè)丝?199515人，其中，甘州區(qū)507433人，肅南裕固族自治縣33653人，民樂縣219356人，臨澤縣134328人，高臺(tái)縣143446人，山丹縣161299人。

2014年末，全市共有5個(gè)街道、39個(gè)鎮(zhèn)、21個(gè)鄉(xiāng)（其中4個(gè)民族鄉(xiāng)）。2015年，省民政廳批復(fù)同意：甘州區(qū)撤銷長(zhǎng)安鄉(xiāng)、明永鄉(xiāng)，設(shè)立長(zhǎng)安鎮(zhèn)、明永鎮(zhèn)（甘民復(fù)〔2015〕48號(hào)）；高臺(tái)縣撤銷黑泉鄉(xiāng)、羅城鄉(xiāng)，設(shè)立黑泉鎮(zhèn)、羅城鎮(zhèn)。