古交市虽然建市很晚，但历史却非常悠久。早在旧石器时代就有人类生活的痕迹。古交最早的名字不是古交，而是交城，因地处汾河和孔河的交汇处所以得名。现在的古交并没有孔河，那么这个孔河在哪里呢？据光绪年间的《阳曲县志》记载，孔河就是现在的大川河。
古交是一座煤炭之城
至于何时得名，现在已经不知道了，只有一个大概时间即春秋和西汉时期。因为西汉已经有了"交村"这个名字。
西汉时期交村这里是农业文化和游牧文化的交汇地带。这里由于是两条河的交汇处，水草肥美，这在干旱缺水的山西，是非常难得了。汉文帝专门在这里设置了养马的官苑，专门饲养军马。后来大将军卫青出击匈奴时还专程来古交这里买过军马。
东汉时期，由于北方匈奴的威胁已经没有了，政府便在这里垦荒屯田，古交这里由养马之地变为东汉一个重要的粮仓。和养马一样，同样是官府行为，主要是用于军事目的，可见古交是一个战略要地，因此后来县志上才说，古交是太原乃至京师的屏障。
古交最早设县是在隋朝时期，那是公元596年也就是隋开皇十六年，隋文帝将晋阳西边以及文水东北边的一大块地方分割出来，设立了一个县，取名交城县。这个交城并不是今天古交南面的交城，而是现在的古交。交城县的治所在今古交市区金牛大街寨湾滩一带。
武则天登基后不久，交城这里发大水，县城被淹，当时担任长史官的王及善将县城迁移到南边的却坡村，也就是现在的交城县城所在地。交城迁移后，原地就不能叫交城了，而改名为"故交"，意思是以前的交城。
古交曾经以水资源丰富著称
当时"故交"只是归属交城县的一个小村镇，后来"故交"渐渐演化为了"古交"。这以后一直到民国年间，这1200多年的历史，古交境内居然没有一个县级建制。
民国时期，古交是一个镇的建制，1946年阎锡山曾经一度设立古交行政管理区，相当于一个县的建制，不久之后便被根据地军民打垮了。
古交这个地方属于吕梁山脉腹地，境内层峦叠嶂，地下储存着丰富的煤炭资源。1958年，一千多名太原西山矿务局的煤矿工人，响应国家号召，来到当时条件非常艰苦的古交镇，开发这里的煤矿资源。由于资金和技术因素，开采没有成功。
1978年，改革开放后，开采古交煤矿又提上议事日程。这次从四面八方涌来上万名开采人员，他扎根于荒凉的古交山区，风餐露宿、挖冰卧雪，终于功夫不负有心人开采出了优质煤炭。当时这个区域就叫古交工矿区，归太原管辖。
1988年，对于古交人来说是值得纪念的一年，这一年古交工矿区经国务院批准，正式成立古交市。至此古交作为一个独立的县级市一直延续至今。