徐悲鸿在十岁的时候就能帮他的父亲在画上不重要的部分添染颜色。但生活的艰难，仅仅十七岁，他便辍学到一家中学里教图画来帮助家用。十九岁那年，他的父亲逝去，家里负债很多，弟妹也要供养，他那时只得在县里三家学校担任教课来解决全家的生活。
沉重的家庭担子压不住他上进的决心，为了学美术，他来到上海。他曾企图把画寄给当时的《小说月报》，以求换得买米之钱，但却被无情退回。他那时寄居在一家赌场里，白天用功，晚上等客人散了，才摊开铺盖在赌桌上睡觉。那时，他常常吃不到饭，也找不到工作。——徐悲鸿甚至为此有过自杀的念头，据他后来回忆，他曾经狂奔到黄浦江边，想要结束自己的生命。混浊而奔腾的汗水汹涌地冲击着江岸，轮船的汽笛尖锐地吼叫着，他解开衣襟，让无情的风刚打入他年轻的胸脯上。当一阵寒冷的颤栗从脚跟慢慢传递到全身时，他才清醒地认识到：“一个人到了山穷水尽的地步而能自拔，才不算懦弱呵!”
1915年，当人们都在用锣鼓爆竹迎接新年的时候，青年徐悲鸿却饿着肚子给一家叫做“审美书馆”的出版社，用颜色填染单色印刷的杂志封面(那时印刷术落后，没有彩色印刷，杂志封面是雇人用手工填色的。审美书馆的主办人，就是著名的岭南画派导师高剑父、高奇峰兄弟)。等拿到报酬，他的肚子已经空了好几天了。
1916年，徐悲鸿考进震旦学院，攻读法文。他是穿着死了父亲的丧服，噙着眼泪踏进了这个学校的。
徐悲鸿的作品逐渐受到社会的注意。除了高剑父兄弟外，当时的文化名人康有为、蔡元培等也给予他鼓励和帮助。1917年，二十二岁的青年徐悲鸿已经被聘为北京大学画法研究会的导师，又得到北洋政府的教育总长、大学者傅增湘(沅叔)先生的帮助，派他到法国去留学。可是出国不久，因为内战，他的经济来源就断绝了。他经常干面包就白开水度日，并且不间断地从事每天十小时以上的劳作。他用功锻炼素描，临摹古代的名画，并努力于国画和油画的创作，还给书店画书籍插图及写一些散稿来维持生活。
由于徐悲鸿曾经经历过艰苦的遭际，所以在他后来的一生中，凡是遇到年轻有为、肯用功吃苦的人，或穷苦无告的人，他总是给予莫大的同情，并且尽一切可能去帮助和鼓励他。1928年，他给当时的福建当局画了一幅壁画，画好后他辞谢了给他个人的金钱报酬，却提出要福建省派送两个青年出国学习艺术。这两个青年一位是油画家吕斯百，一位是雕刻家王临乙，二人后来学成归国，对我国艺术都卓有贡献。