1981年3月27日,林俊杰出生于新加坡的一个音乐世家。在父母的引导下,4岁就开始学习古典钢琴,不善言辞的他由此发现了另一种与人沟通的语言。小时候的林俊杰把哥哥当作偶像,跟随哥哥的步伐做任何事,直到接触流行音乐后,便爱上创作这一条路,1996年,林俊杰开始参加各种歌唱比赛,前后获得多个词曲创作和演唱大奖。1999年,海蝶音乐在“非常歌手训练班”发现了他。这个腼腆害羞、并不起眼的高中生,却在自弹自唱的时候,展现了对音乐的纯真热忱。当时在学校成绩优秀的林俊杰,在已收到新加坡国立大学入学通知的情况下,放弃升学,与海蝶签下一纸合约,从此开启了他的音乐道路。新加坡男性均须服兵役,林俊杰亦不例外。
由于专长,他加入的是新加坡武装部队文工团。服兵役期间,他积累了大量的舞台表演经验,同时也尝试了无数创作。尽管早期屡遭“打枪”,但在老师的正确引导鼓励下,极具天赋又非常努力的他,终于谱出了令老师首肯的曲子,这便是2001年收录在张惠妹专辑里的《记得》。此后,林俊杰为庾澄庆、阿杜、王心凌等人创作多首主打歌曲,他的创作才华终于得以展示。