二次革命失败后，苏曼殊咄咄书室，郁郁不乐，有时拥衾病卧，竟日不食，食则立进饭五六盂。每每叹息：“飘零之痛，愈于斯乎？”曼殊操普通话而杂以粤音，读“飘零”之“零”如“楞”，听了使人尤其感到痛心。不久，曾经帮助宋教仁起草过国民党大政见书的徐血儿，忧伤病死。姜可生重游上海，曼殊蹙额以告。两人驱车会馆，抚棺恸哭。
关于苏曼殊的身世，存在诸多猜测，其友人陈独秀、柳亚子柳无忌父子亦对此进行了诸多考证。1969年，苏曼殊九妹苏慧珊揭开了曼殊身世谜底：其父苏杰生长年在日本横滨经商，娶日妾河合仙。河合仙有妹河合若，年在妙龄，随河合仙来到苏家，愿作苏杰生偏室。河合若胸前有一红痣，苏杰生见后称：“伊当生有贵子。”遂与河合若同居。河合若身怀六甲时，曼殊二叔苏德生在国内为苏杰生聘娶第三妾大陈氏，来到横滨，见河合仙姐妹后，将二人逐出家门。苏杰生只好另觅房屋安置河合仙姊妹，不出数月，河合若即生曼殊。
在日本大同学校读书时，一日，教员陈荫农在课堂上谈及某事时说：“汝等谁为相子者举手。”日语“相子”指混血儿，当时旅九九藏书日华侨称华父日母的混血儿为“相子”。全班举手者过半，曼殊亦在其中。
苏曼殊从不对人谈及其身世，即使亲密如刘季平、陈独秀亦不言及。刘半农曾在信中谈及其小说《碎簪记》，曼殊复信竟一连用了两个不必问。他答道：“所记固属子虚，望先生不必问也。……不慧正如图腾社会众人，无足为先生道也。今日病少除，书《人鬼记》，已得千余字。异日先生如见之，亦不必问也。”
据苏曼殊九妹苏慧珊说，简世锠是苏父逝世时才到香港找曼殊回乡奔丧的。曼殊问简：“父亲在世乎？”简回答：“已去世。”曼殊说：“父亲若在世我即回去，今云父亲已去世，回去无甚意味。”遂没有回乡奔丧。
次年3月，苏曼殊由姑母带到上海，找到父亲。他对父亲说，一家数十人，最爱他的是祖母，嫂嫂还算贤良，婶婶和亲戚则轻视他，因而“淡观一切，矢志永不回乡”。从此，曼殊再未回到家乡。
苏曼殊在日本求学的费用由表兄林紫垣提供，林生性吝啬，每月只支助曼殊十元。当时，留日学生可以靠译书赚取稿费，但曼殊儿时在乡间只上一年村塾，且因其身体羸弱，一年村塾学习藏书网有大半在病中，故国学功底较差，不能胜任翻译一事。曼殊只能住日本最穷的学生住的最低廉的“下宿屋”，吃的是掺了石灰的白饭。但他安之若素，不以为苦。为了节省火油费，他晚上竟不点灯。同住者问他，他则答曰：“余之课本，日间即已熟读，燃灯奚为？”
1907年，苏曼殊在东京与养母河合仙会面。此时河合仙已经嫁给了一位日本商人，见面是想告诉曼殊自己再嫁之事，并准备让他与自己的丈夫见面。大约一个月后，曼殊与母亲及母亲的丈夫会面。曼殊似乎对母亲再嫁之事颇为不满，将见面地点选择在日本人用于政治会谈的料亭，且拒绝用日语与母亲交谈，两次见面都是友人陈国权同往，任其翻译。
1895年，苏杰生携妾大陈氏及女儿们赴上海经商，而长兄苏煦亭则到日本随表兄学习商业，独将虚龄12岁的曼殊留在沥溪老家。当时正值甲午中日战争之后，国人仇视日本人，曼殊独自在老家被族人视为“异类”，遭到唾骂。曼殊“感怀身世，郁郁不安”，以至于认为自己是遭到抛弃，被苏家收养的日本人。日后，他曾在《燕子龛随笔》中以前人诗自况，悲云：“挑灯含泪叠99lib.net云笺，万里缄封寄可怜。为问生身亲阿母，卖儿还剩几多钱？”
苏曼殊为庶母大陈氏虐待，却对大陈氏所生的几个妹妹很是爱护。1898年春，曼殊随表兄林紫垣赴日本读书，甫一下船，得知此处正开展会，急忙到花粉店选购了各式胭脂水粉送给年幼的妹妹们。同行的表兄、堂兄素知他性情，一笑了之。
7岁开始，苏曼殊入村塾读书。很快，曼殊便表现出过人之处，写字速度异常迅速，为他人所不及。但他性格孤僻，极少与人交谈，然而一旦与人交谈，遇到与他意见不同的，必与人争辩，滔滔不绝，一直驳到对方无可置喙为止。
苏曼殊养母河合仙在看过何震编辑的曼殊画作后写道：
吾儿少不聪明，兼多疾病，性癖爱画，且好远游。……及检其过去帖，见其友刘子所赠诗，有云：“享君黄酒胡麻饭，贻我《白门秋柳图》。只是有情抛不了，袈裟赢得泪痕粗。”……余询知其为思我及其姊，亦下泪语之曰：“吾儿情根未断也。”今吾儿又决心将谒梵土，审求梵学。顾儿根器虽薄弱，余冀其愿力之庄严。为诗一首，以坚其志。
苏曼殊出生三个月后，河合若回到藏书网娘家，后嫁给一名日本军人。曼殊便随河合仙一起生活，亦曾一度被生母接到东京。曼殊六岁时，因苏杰生的妻子黄氏年届不惑，妾大陈氏连生女儿，苏家子嗣仅长子苏煦亭一人，有“香火”之虑。苏杰生便乘机告知曼殊的存在。苏家人听罢大喜，马上将曼殊接回苏家，带回老家广东香山县沥溪村生活。苏曼殊虽得祖父母疼爱，但在家中屡遭到黄氏、大陈氏等人冷眼。
1903年，父亲苏杰生得知曼殊到香港后，曾到香港中国日报报社找曼殊，催促他回乡完婚。曼殊避匿室内，坚决不出，陈少白劝之再三，他唏嘘不答。不多时，曼殊告知陈他决意出家为僧，准备到某寺拜师受戒。陈以为他天性凉薄，遂赠其数十金，资助其成行。几个月后，曼殊再出现在香港时，已经是缁衣芒鞋。
沈燕谋回忆，苏曼殊于身世，本有难言之隐。偶尔向沈口头陈述，十九语焉不详。若加询问，他总是说：“无聊得很，无聊得很。”
诸宗元回忆，苏曼殊与友人交谈，“每言及其母，辄作长谈。每曰：‘我必有以慰老人之意。’其行役时，虽不挈一物，而老母之摄影必置襟囊间。其与友人交谊笃挚者，必以其母之摄影相赠”。
我望东海寄归信，而到灵山第几重（儿尝作《灵山振衲图》）。99lib.net
次年3月，苏杰生沉疴缠身，奄奄待毙，他托同乡简世锠到香港寻苏曼殊，规劝其回乡，希望临终前父子见上一面。但曼殊对简说：“我身上无钱，请伯父先回去。我到友人处借钱，然后回去。如果无钱回去，会被家人小看。”3月15日，苏杰生去世，曼殊拒绝奔丧，而是择道直奔上海。
月离中天云逐风，雁影凄凉落照中。（吾儿画此景最多）
大陈氏离开后，苏曼殊便托付给姑父姑母照拂，境况依旧不好。曼殊后来翻译雨果的
《悲惨世界》，里面杜撰某姑母逼迫寄养的侄女为娼，大概为对姑母当年冷眼相待之控诉。
1897年4月，因祖父病重，苏杰生回到家乡，在上海读书的苏曼殊随大陈氏一起生活，受尽虐待。到11月间，祖父病重，大陈氏携女返乡，将生活用品尽数带走，连被子的被面被里都拆走，仅留一条棉胎给曼殊度日。大堂兄苏维春从日本返乡，途径上海，得知后极为不忍，为曼殊重新买了被子。