不久，张謇接到父亲病危的电报告假回家，当他赶到家中，老父亲已经去世。他以未能亲奉老人归天为终生憾事，直至七十岁修订《年谱》时还说：“一第之名，何补百年之恨，慰亲之望，何如侍亲之终。”按照惯例，他得为父丧守籍三年，这也正好让他摆脱朝廷内的派系斗争。回籍的第二年，即 1895年 4月，甲午战争失败的大清帝国派李鸿章为代表，在日本马关春帆楼签订了《马关条约》，使中国的主权进一步丧失。“四万万人齐下泪，天涯何处是神州！”张謇丁忧在家，“既成进士而父见背，不及视含殓，茹为大痛，国事亦大坠落，遂一意斩断仕进！”
　　
　　1895年成为当时中国国士们的选择之年。简在帝心的康有为选择了变法，上书无望的孙中山选择了革命，张謇以状元之身选择了实业。他们都要为时代注入活力，康有为和孙中山的选择是做中国历史的操盘手，“彼可取而代之”，张謇却在傍近实权人物的经历中知道如何经营实力，大丈夫当如是，靠实力说话、实业救国。传统士绅一向轻视商人、实业，直到今天，儒生、儒家思想能否与现代商业精神并行不悖仍有争议，但在现代转型的中国史上，一些中国人却成为力行者。张謇由儒入商，成为儒行商界的时代人物。为了“开风气而保利权”，实力派人物、两江总督张之洞正式札委张謇经理通海一带商务，要求他招集商股，在通州兴办纱厂。张謇踌躇思索多日，认定“中国须振兴实业，其责任须在士大夫”，慨然应允。他为此辞官并屡召不应，“吾通因世界之趋势，知文化必先教育，教育必先实业。”
　　
　　张謇创办了中国人自己的纺织厂 --大生纱厂，大生的寓意是：“通商惠工，江海之大；长财饬力，土地所生。”那是儒生们服膺的一句名言：“天地之大德曰生。”张謇的解释是：“一切政治及学问，最低的期望，一要使得大多数的老百姓都能得到最低水平线上的生活。”他认为富国强民的基础是农业，根本是工业。工业中又可分为“至柔至刚”（或曰“至黑至白”）两类：至刚至黑的是钢铁，至柔至白的是纺织，这就是他所谓的“棉铁主义”。张之洞发展了钢铁业，他则要从纺织业入手，营造独立的近代民族经济体系，进而参入全球范围的“文明竞争”。从 1899年开车纺纱至 1913年，大生纱厂共获净利约五百四十万两白银，发展成为拥有资本二百万两和六万七千纱锭的大厂。
　　
　　在当时，由“做官”变为“做事”，困难重重。在大生纱厂内，曾悬挂画师单竹荪绘制的四幅“厂儆图”分别名为《鹤芝变相》、《桂杏空心》、《水草藏毒》、《幼小垂涎》，由张謇的好友顾锡爵题诗作注，即是大生纱厂的发展诗画史。《鹤芝变相》中的“鹤”指潘华，字鹤琴；“芝”指郭勋，字茂芝。他们是大生纱厂在上海的董事，曾承诺筹集股金四十万两，但直到厂址择定开始购地建房的时候，潘、郭的股金还分文未见。后工厂改为官商合资，潘、郭承诺筹股二十万两，后来又改变承诺，只答应筹股八万两。最后未交一分一厘，公然退出董事会，使大生纱厂创业伊始就遭遇了一次危机。《桂杏空心》中的“桂”指江宁布政使桂嵩庆，“杏”指官僚买办盛宣怀（字杏荪）。盛曾许诺筹资二十五万两，桂曾许诺助筹五六万两，但二人后来食言自肥，见死不救，使张謇“中夜彷徨”、“忧心如捣”。《水草藏毒》讽刺通州知州汪树堂及其幕僚黄阶平，他们煽动士人递呈抗议，聚众滋事，给张謇加上了办厂扰民的罪名，多次给大生纱厂设置障碍。《幼小垂涎》影射上海商界巨子朱幼鸿、严小舫。当时大生纱厂纺机一开，每日需耗工本四千两，不到三个月，三十六万流动资金即已耗尽，朱、严却想乘此危难之际巧取豪夺。为创办纱厂，张謇曾“反复筹虑，彻夜不能寐，绕屋而走”，在进退维谷的时候，他只得低下头来，“忍侮蒙讥，伍生平不伍之人，道生平不道之事，舌瘁而笔凋，昼惭而夜椣者，不知凡几。”大生厂创办之时，张謇亲自撰就一副楹联：“枢机之发动乎天地，衣被所及遍我东南。”这副对联后经翁同龢手书，道出了纺织工业关乎国计民生的重要性。翁还为张謇力行之画题诗：“一水分南北，劳君独荷锄。”