詹姆斯出身于纽约一个有钱的知识分子家庭。父亲是个哲学家、神学家,但为人专横粗暴。长兄威廉健壮得如同运动员一般,后来成了令人敬畏的哲学家和哈佛大学心理学教授。詹姆斯的童年非常不愉快,他是在对哥哥的畏惧中成长起来的。詹姆斯曾经跟家庭闹翻过,不过后来又修补了这种关系。他在哥哥阴影笼罩下的成长,是怎样影响到他的内心世界,并进而影响到他的创作的,因为詹姆斯生性过于敏感。笑声很少来自于詹姆斯,由于跟他友好的人过早去世,包括他的姐姐艾丽丝,他的表妹米妮·坦普尔,他活得一直很沉重。詹姆斯曾经利用相继去世的这些人作素材,在小说《黛西·米勒》、《一位女士的画像》、《鸽翼》、《使节》及《金碗》中创作出了一系列鲜明的女主人公形象。詹姆斯一直想成为剧作家,最后却以他主动远离剧院而告终。詹姆斯曾经为他的新剧本《盖伊·汤姆威尔》能否成功感到担忧,然而由于他太紧张以至于没有抓住适当的机会。他不善于跟剧院打交道。书中讲述了有天晚上当他走近剧院的时候,奥斯卡·王尔德《理想的丈夫》正在上演,他决定放弃去观看厚脸皮同性恋者王尔德剧本的演出。因为“他认为进剧院的这些人显得似乎要尽情地享乐他们自己,他觉得在他生活中他从来没有过这个样子。他不知道在这些那么快活、那么洋洋得意、那么高兴的人中间,他怎样度过那三个小时。”于是詹姆斯就又退回去了。詹姆斯生活中的大部分紧张是来自于他对自己所珍视社会的疏远。事实上,他已步入到欧洲的上流社会,富有的作家以能跟他有联系而感到为荣,可他仍觉得自己是一个局外人:是一个单身汉,有同性恋的倾向,尽管他压制了这个欲望。同时他又是一个美国人,因为那时美国刚刚发展起来,崇尚欧洲文化与崇拜欧洲人是当时美国上层人士的一种风气。