明宣宗宣德初年，于谦被任命为兵部右侍郎，兼河南、山西两省的巡抚大臣。于谦不携家眷，常独自一人去上任，冬春在山西，夏秋到河南，正如他在诗中写的：三晋冲寒到，中州冒暑回。山川元不改，节候自相催。就这样于谦在巡抚的任上一干就是十九年。
于谦为官非常清廉，每次进京办事，从不带任何礼物送人。有人劝他带些土特产做交际联络，他听罢，笑着举起两袖，答道：「吾唯有清风而已。」
明英宗的时候，于谦任兵部左侍郎。正统十四年七月，蒙古瓦剌部落首领也先率领骑兵大举南犯。当时宦官王振专权，极力鼓动明英宗北上亲征。于谦和兵部尚书邝埜劝谏，但是皇上一意孤行，贸然亲征。结果，明军在土木堡遭到惨败,英宗被俘，也先率瓦剌大军直攻北京，企图一鼓作气占领明朝的都城。
消息传到京城，一时间人心惶惶，许多大户人家纷纷南逃。因为京城装备精良的守军都已经随英宗出征，剩下的士兵不足十万，都是些老弱；而瓦剌军兵强马壮，乘胜而来，大有不可抵挡之势，北京城岌岌可危。
这时，留在京城监国的郕王朱祁钰请大臣们出主意。一部分大臣主张朝廷趁瓦剌军尚未到来之际，赶紧迁都南方。这时候，于谦毅然站出来，非常严肃地说:主张南迁的人，应该斩首。京城是社稷的根本所在，一旦动摇必将导致不可挽回的后果。大家难道不记得南宋迁都的教训吗？一句话点醒了众位大臣，郕王也非常支持于谦的看法。由此，南迁的提议被废弃，保卫北京的策略确定下来。国不可一日无君。英宗被俘，也先屡次以其相要挟。国难当头，社稷为重，于谦和大臣们果断地拥立英宗的弟弟郕王即位，也就是明景帝，遥尊英宗为太上皇。于谦被任命为兵部尚书，全权指挥保卫北京的战役。当时，朝野上下都倚重于谦，于谦当仁不让，也毅然以社稷安危为己任。
于谦受命之后，奏请皇上立刻调集军队奔赴京师，其中包括南京、北京、河南的备操军，山东、南京沿海的备倭军及运粮军，于是人心渐渐稳定下来。
怎样守卫北京呢？此时也先已经率领大军攻破紫荆关，挟英宗直奔京师而来。大敌当前，有的将领建议挖很深的城壕挡住瓦剌的骑兵，也有的建议固守城中，让敌军久攻不下，自动离去。
于谦则认为，坚守不出会示弱于人，使瓦剌军轻视我军。在景帝的支持下，他将原有的和新招募的兵士共二十二万人，分列于京师的九门之外，自己则身披甲胄亲赴兵营督战。这九个城门分别是：德胜门、安定门、东直门、朝阳门、西直门、阜成门、正阳门、崇文门、宣武门。部署完毕，于谦将兵部的事务委托给侍郎吴宁，下令关闭各城门，列阵城外，以示背水一战、誓死卫城的决心。
当也先带兵抵达北京的时候，惊异地发现，眼前的明军纪律严明、秩序井然,与土木堡被击败的明军大不相同。原以为旦夕可下的京城，并不像他预想的那样不堪一击，也先的锐气大大受挫。
两军相持一段时间之后，也先骑虎难下，于是派骑兵窥探德胜门。于谦得到消息，事先在路边空房里埋伏下士兵，再派少量骑兵且战且退，诱敌深入。候战多日的瓦剌兵大举追来，结果数万的士兵被明军击溃，瓦剌军损失惨重。经过五天的激战，瓦剌军在各处都吃了败仗。这时，各路的勤王兵将纷纷赶来，也先恐怕被断掉退路，带着英宗连夜拔营逃走。北京保卫战取得了胜利。
于谦担任兵部尚书的时候，除西部的瓦剌之外，全国还有很多地方出现动乱。这些前后征调的事务，全仗于谦一人运筹帷幄。于谦的雄才大略，得到了极大的发挥。他忧虑国家动荡，人民生活不安定，常常留住在军机处直庐，为国事殚精竭虑。
景帝得知于谦节俭，家中的房屋仅能遮风挡雨，极其简陋，就赐给他一处位于西华门的府第，于谦辞谢道：现在国家多难，臣子何敢自安。最终没有接受皇上的赏赐的府第。
景帝对于谦的了解越深，越感佩他的为人，每当提拔大臣的时候，必定征求于谦的意见。于谦不避嫌怨，向皇上如实汇报，结果有些没当上官的人，就怨恨他，而才能不如于谦的人，往往嫉妒他。于谦性情刚强，当遇到处理事情不能如意时，忍不住抚胸叹息：我这一腔热血，不知会撒到何处！
景泰八年正月，石亨等人趁景帝病重之际，发动了「夺门之变」，重新推举英宗即位。他们怀挟私心，诬陷于谦谋反。于谦被害当天，京城百姓哭声震天，行刑之时，乌云蔽日，可谓是天怒人怨。
锦衣卫的官兵在抄查于谦的家产时，什么值钱的东西和罪证也没查出来。只看到于谦的房屋仅能挡住风雨，屋里空荡荡的，除了书籍之外，没有任何钱财。只有一间正室的大门锁得很牢固，打开一看，里面是景帝所赐的蟒衣、剑器等，密封得很严，从来没有动用过。锦衣卫被他的高风亮节所感动，不禁失声恸哭。皇太后听到于谦被处死的消息，叹息、哀悼了好几天。事后，英宗皇帝也后悔自己错杀了一位忠臣。而那些诬陷于谦的人，不到一年的时间，竟接二连三地因贪污或谋反罪落狱，使于谦的冤情得以天下大白。
明宪宗成化二年，于谦的冤案昭雪，宪宗在诏书中赞叹于谦道：「当国家之多难，保社稷以无虞，惟公道之独恃，为权奸所并嫉。在先帝已知其枉，而朕心实怜其忠。」诏书被天下人传诵，历史终于还忠臣以公道。
由此可见，是非功过，自有后人评说年少时的一首《石灰吟》千锤万击出深山，
烈火焚烧若等闲。
粉骨碎身全不怕，
要留清白在人间。
正是他一生的写照，其忠烈的丹心，足以明彻千古，与日月同光。