伯克希尔公司的早期创始人是塞缪尔·斯莱特。1790年，他在罗得岛州成立了美国第一家纺织厂。这家纺织厂的创建始祖是奥利弗·蔡斯，曾经是为斯莱特工作的一位木工，是后来伯克希尔·哈撒韦公司董事会成员马尔科姆·蔡斯三世的祖先。早在1806年时，他也在罗得岛州的普罗维登斯开业，开办了一家属于自己的纺织厂。由于业务渐渐做大，慢慢便发展成为了纺织业的龙头老大，这使伯克希尔公司的纺棉量曾一度占到整个国家棉花总量的1/4。

1888年，霍雷肖·哈撒韦在马萨诸塞州新贝德福德市一家纺织品公司的基础上建立了哈撒韦纺织品生产公司。当时，正赶上当地经济由低利润的捕鲸业向高利润的纺织业转型的时期，因此，抓住了这个时机，哈撒韦公司的生意很火。“响应棉花之王的呼唤，我们把公司所有的资金都投放到了纺织业，公司在新贝德福德市蓬勃地发展了起来。”从1881年到第一次世界大战爆发，32家棉制品生产公司联合起来。在第二次世界大战中，哈撒韦纺织品公司主要致力于降落伞布料生产；第二次世界大战以后，这家公司变成了人造纤维服装衬里的最大生产厂家。

天有不测风云。1954年，一场突如其来的大飓风毁掉了哈撒韦公司的一个工厂，并对公司最大的综合建筑造成了严重损坏。

1955年，两家公司—伯克希尔棉花纺织公司和哈撒韦公司合并成为伯克希尔·哈撒韦公司。马尔科姆·蔡斯顺利成为当时伯克希尔·哈撒韦公司董事会的成员，他是一名白发苍苍面庞清瘦的新英格兰人。当时他负责检查罗得岛州和马萨诸塞州西部伯克希尔工厂和新贝德福德市哈撒韦公司的工厂合并情况。

在鼎盛时期，伯克希尔·哈撒韦公司约有5800名员工。所有的车间都实行三班倒的工作方式。伯克希尔·哈撒韦公司的年平均销售额超过6000万美元。每年大约有100万个锭子和大约12000台织机在运转，年生产量为亿码。产品主要包括：色彩夺目的妇孺衣料、手绢布、上等细麻布、薄纱、凸花条纹布、各种棉缎、人造纤维织物的衬里、的确良薄纱罗窗帘布和的确良棉混合布等。伯克希尔·哈撒韦公司逐渐成为新英格兰州最大的棉花和人造纤维纺织品的生产厂家。

然而，再显赫的事业或家族也难经时间的考验，伯克希尔·哈撒韦公司的纺织生意渐渐开始走下坡路，公司运营出现亏损的状况，股东的资产净值连年持续下跌，这个曾经显赫一时的纺织帝国开始慢慢分崩离析，股票持有者们竞相低价出售手里持有的大量股票。

1962年，伯克希尔·哈撒韦公司的股票跌破每股8美元，被巴菲特盯上，巴菲特认定这支“烟蒂”股是一个投资的大好时机。于是，他想尽办法利用合伙公司逐渐购进大量伯克希尔·哈撒韦公司的股票，直到对他拥有该公司绝对的控股权，他任命值得信任的公司原副总裁肯·蔡斯为总裁，替他接管伯克希尔·哈撒韦公司。

在管理伯克希尔·哈撒韦的过程中，巴菲特意识到，由于纺织品供过于求，无法抬高价格，即使投资者在这上面投入再多的资金也无济于事。纺织品走俏的时代已经过去了，因此，要想让公司盈利，就必须转移投资的目标，此时的巴菲特早就已经盯上了保险业，他渐渐将伯克希尔·哈撒韦的业务转向保险业。