1904年2月，陈独秀在桐城学堂房秩五等人帮助下创办《安徽俗话报》，该报以反帝救国开启民智为宗旨，于3月31日正式出版。由于在安庆无法解决发行问题，陈独秀只身来到芜湖，找到友人汪孟邹，想以他的芜湖科学图书社为发行机关。当时的条件比办《国民日日报》更为艰苦，科学图书社社址在芜湖长街中段一个阁楼上，当陈独秀背着包裹来到图书社的时候，汪孟邹对他说：

“仲甫，我这里的条件你都看到了，办公条件极差，生活也是清苦得很，每天只有两顿稀饭。”

“没关系，两顿稀饭就好。”

陈独秀毫不在意条件的艰苦，他在意的是汪孟邹的发行能力，汪孟邹已经在全省各地建立了供销点，而且北到辽东，东到上海，南到广州都有了订户。在前后一年半的时间里，陈独秀主编出版《安徽通俗话报》22期，以“三爱”笔名发表了大量文章，内容广泛，集中体现了进步倾向和反帝爱国的思想。也正因为此，该报于1905年9月被清政府地方当局勒令停办。后来回忆起当时艰苦创业的情景，陈独秀曾说：

“我那时也是二十几岁的年龄，为革新感情所驱使，寄居在科学图书社楼上，做《安徽俗话报》，日夜梦想革新大业，何物臭虫，虽布满吾衣被，亦不自觉。”

《安徽俗话报》停办后，陈独秀又与柏文蔚等人创办秘密军师团体岳王会，该会以推翻清政府统治为目的，以陈独秀为会长，参与了吴樾谋刺清廷五大臣活动。然而在1906年初芜湖岳王会集体加入同盟会时，陈独秀却拒绝加入，认为同盟会鱼龙混杂，不加入照样可以革命。

此后在1906年至1909年间，陈独秀两次东渡日本。第一次在1906年春夏之际，与苏曼殊结伴东游，入秋即返回；第二次在1907年春，到日本后入正则英语学校学习英文，并与章太炎、刘师培等人共同组建“亚洲和亲会”，以反帝为宗旨，“期使亚洲已失主权之民族各得独立”。但由于入会人员复杂，该会存在约一年便悄然消散。

此间，陈独秀住在东京神田区猿乐町二丁目番地清寿馆，与章士钊、苏曼殊同居一室。当时陈独秀28岁，章士钊26岁，苏曼殊23岁，由于苏曼殊年龄最小，一些跑腿的事便都落到他的头上。

有天三人断顿，饥饿难忍，章士钊与陈独秀找出几件衣服交给苏曼殊，让他去当点钱买食物。岂料苏曼殊一去便没了踪影，直到半夜才回来。陈独秀与章士钊正饿得睡不着觉，赶紧向苏曼殊要食物，苏曼殊手里却只有一本刚刚买回的书。

“是想买吃的来着，可这本书一直买不到，今天好不容易碰到，就买下了。”

苏曼殊说得不紧不慢，沉着冷静，陈独秀与章士钊气得一通谴责，但由于腹中空空实在没有力气多说，也只好饿着肚子入睡，苏曼殊却如饥似渴秉烛夜读，一口气将新书看完。

不久，章士钊因结交有夫之妇为女友，招惹是非，率先回国，陈独秀也于1909年9月告别苏曼殊踏上归途。