1906年秋，苏曼殊随陶成章、龚未生由安徽到杭州，住在白话报馆，谋划起义之事。当时杭州传有谣言，称陶、龚等人已召集八府义士三千人，准备于9月12日攻打省城。浙江巡抚遂准备缉拿陶、龚等人，陶、龚得知消息后，忙到上海暂避。曼殊一人留在杭州，颇为寂寥，他在给刘季平的信中说：“举目无亲，欲航海东游。奈吾表兄尚无回信，欲南还故乡，又无面目见江东父老。是以因循海上，卒至影落江湖。无可奈何……”

苏曼殊友人杨笃生曾对其兄杨性恂说：“曼殊固深于忧患者。”曼殊也在给友人的信中说：“亡友笃生曾尼不慧曰：‘此道不可以之安身立命。’追味此言，吾诚不当以闲九九藏书愁自戕也！”

在上海，苏曼殊寄居在第一行台时，每晚必叫堂差（妓女），且不止一人。到了之后，他叫来酒菜，请她们吃，因为他有胃病，故自己不陪他们吃。等她们吃完，他已经上床了。如果他已经睡着，她们便可以自行离去；如果他还未入睡，必让她们静坐恭陪。他叫的堂差多为苏州籍，个个美貌，但他对她们从未动手动脚。

在南京陆军小学任教时，苏曼殊喜画兰。一天，同事章木良、伍义伯闲谈南宋诗人郑所南（善画兰），曼殊入座。章木良问：“大和尚之兰与所南之兰相比何如？”曼殊说：“何敢比郑！”伍义伯说：“苏、郑等量齐观，但有独到处，所谓九九藏书伤心人别有怀抱。”曼殊默然，以为知己。

苏曼殊曾在给刘季平的信中感喟道：“曼处境苦极，深契如兄，岂不知之？家庭事虽不足为兄道，每一念及，伤心无极矣！嗟乎，刘三，曼诚不愿栖迟于此五浊恶世也。”

苏曼殊成年后第一次见到养母河合仙，河合仙送给曼殊一把日本刀。1905年，曼殊客居南京时，默默寡言，友人时常强与之谈。他常拿出这把刀示人，说是老母在东岛所赠。

在苏州吴中公学时，苏曼殊对吴侬软语一窍不通，只能与同仁们作笔谈，闲暇时则整日沉默寡言，偶尔涂抹几笔画，作数首小诗。

郑桐荪说苏曼殊：“他少年时本是极热心，中年后悲观极深。他的拼命吃九九藏书巧克力、八宝饭、雪茄烟，实是一种自杀政策。金钱到手拼命乱用，无钱则忍饿终日。好吃花酒，而却与他所做的倌人（名花雪南）极少交谈，盖彼之所好不过一场热闹而已，不在花亦不在酒也。”

1904年，苏曼殊到长沙任实业学堂舍监。舍监一职最为卑微，所以他常被学生侮弄。他常背人兀坐，歌哭无常，见人时，目光炯炯直视，数分钟不转瞬，举校称他为“苏神经”。他饮食无常度，有时兼人之量，有时却又数日不食。同事回忆，他“日闭居小楼，少与人借鉴，喃喃石达开‘扬鞭慷慨莅中原’之句，并作画而焚”。

蔡哲夫回忆1905年秋第一次在西湖边遇见苏曼殊的情形：“乙巳之秋，九九藏书……一日，过灵隐岩前，见一祝发少年，石栏危坐，内衣毳织贯头，眉宇悲壮之气逼人。余以为必奇士，大不得已而为之也。今读斯图，知曼殊是岁必客西湖；因语曼殊，遂知当日所见，固曼殊也。”

1904年秋，从长沙回到上海的苏曼殊开始出入于青楼妓馆，常邀一林姓女校书夜乘马车同游四马路。他还爱吃西餐，常请客，每次宴客必请很多人，自己认识的人不多，必托友人辗转相邀。问他何故，答曰：“客少，不欢也。”客至便开席，宴罢即散去，不通姓名，也不言谢，众人都很惊讶。秦毓鎏感慨：“曼殊上人游戏人间，其视金钱如粪土。”

在日本留学时，苏曼殊曾对同学张世昌说：“你父母双全，真是幸福九*九*藏*书*网，但我则孤身一条，身世凄凉。”

苏曼殊的《过若松町有感示仲兄》云：“契阔死生君莫问，行云流水一孤僧。无端狂笑无端哭，纵有欢肠已似冰。”

1903年冬，苏曼殊持冯自由的介绍信到达香港，找到陈少白，住在陈家。他“性情孤介，足不出户，住宿之余，鲜与人语”。陈在《中国日报》的同事王秋湄回忆：“子谷稚气未除，衣履不整，莫辨菽麦，性嗜闲食，行动怪诞，同事以其为书呆子，多不与语，独某君（指陈少白）则殷勤招待，优渥备至。子谷在港，除某君外，别无友侣。”

周南陔说：“曼殊之为人，外虽和易，而内有僻性，故落落寡合。……尝与予深谈甚久，心郁郁不得志，有生何为而死何迟之恨。”