爱华网有一次，《拜伦》杂志社的编辑艾伦·亚伯森这样描述伯克希尔公司：
“沃伦·巴菲特刚从前苏联的明斯克和平斯克移民过来，他就是经营有着稀奇古怪名字的伯克希尔-哈撒韦公司的投资者，每个人都认为这家公司生产衬衫，但实际上它是一个生产钱的公司。”
“1962年，巴菲特第一次以每股7美元的价格开始为巴菲特合伙公司购买伯克希尔公司的股票。几年之后，当时任伯克希尔公司总裁的西伯里·斯坦顿向巴菲特许诺说，他将剩余的伯克希尔—哈撒韦公司的股票的投标价格定为每股11.5美元。但是，三个星期以后，股票的投标价格只有11.125美元。这一次巴菲特式的‘握手加信任’买卖没有做成。对西伯里·斯坦顿的不遵守诺言，巴菲特感到气恼，巴菲特开始从斯坦顿的妹夫，当时任哈撒韦公司董事会主席的马尔科姆·蔡斯手里，把伯克希尔公司的股票全部买进。显然，蔡斯也对斯坦顿的行为感到生气，把他手上的大量的伯克希尔哈撒韦公司的股票也卖给了巴菲特。在1965年的这个时间，巴菲特所拥有的股份就足够让他获取伯克希尔-哈撒韦公司的控制权。”到1964年，伯克希尔-哈撒韦公司几乎只剩下一堆瓦砾——2个工厂和大约22万美元的资本净值。
股票价钱跌至账面价值以下。根据巴菲特的说法，“在我们购买公司控制权时，伯克希尔公司根本没有什么净现金而言。所有的资本净值都被当时的纺织业务占用了。
“1965年，在蔡斯和奥蒂斯·斯坦顿的帮助下，巴菲特购买了伯克希尔公司的控制权；公司总裁西伯里·斯坦顿和他的儿子杰克离开了公司，杰克当时担任公司的财务官，是有确定继承权的人。很多传统企业都经历了从生产型企业向投资型公司的转变，随着伯克希尔-哈撒韦公司的股票卖给股票市场的投机者，伯克希尔也走上了这条路。公司的主要产品变成用做投资买卖的资金。在纺织业发展了80年后，纺织业的分界线也不那么明显了。”
生意依旧停留在低迷时期，伯克希尔公司在1964年的10月3日的资产负债表显示，有2789万美元的资产，以及股东220万美元的资产净值。伯克希尔公司已发行的股票是1137 778股。今天，公司拥有1528217股A股股票。
巴菲特不断地购进股票，到1965年，他的合伙公司已拥有公司70%的股份。纺织业务包括大约4700台织机。巴菲特在伯克希尔公司的总资产达到了1400万美元。当伯克希尔公司拥有大约1800万美元的市场价值时，巴菲特于1965年5月10日控制了公司。在20世纪60年代后期，伯克希尔公司共有1200名股东。现在股东人数已上升到大约30万名。
1970年，巴菲特当上了公司董事会的主席，但是，20世纪70年代后期，纺织业的一些经济优势已开始渐渐消失。
巴菲特仍然对廉价买到手的纺织业很有兴趣。在1979年的年度报告中他写道：“几年前，你们的主席做出了购买新罕布什尔州曼彻斯特市沃姆伯柯纺织厂的决策，以便能达到扩展我们纺织业务量的目的。按照任何一项统计测试，购买价格都是非常便宜的；我们以远远低于商业的营运资本的价钱买了下来，实际上，我们几乎一文没花就获得了大量的机械和房地产。但是，这个购买决策是错误的。尽管我们竭尽全力地去做，然而旧的问题一解决掉，新的问题马上就出现了。”
在他1980年的信中，巴菲特写道：“在过去的一年里，我们纺织业务的范围已大大削减。沃姆伯柯纺织厂的业务已终止，尽管有些不情愿，却是非常必要的。一些设备已转移到了新贝德福德，大部分的设备还是卖掉了，或是将连同房地产所有权一同卖掉。你们的主席由于没有早一点面对这种现实而犯了一个代价很高的错误。”
沃姆伯柯纺织厂位于商业街250号，现在在曼彻斯特市商业街340号，位于梅里马克河的一家新工厂正在兴建。卡门帝国的总部就设在这一大片19世纪红色砖结构的纺织厂房中。卡门的技术公司一直是众多投机买卖者角逐的对象。卡门是通过投资第一台耐磨的灌输泵，建立起其声望的，还包括第一台糖尿病患者用的胰岛素泵。他发明了具有机器人技术的能上楼梯的轮椅，卡门是公众关注的焦点，他正在发明某种叫做“金歌尔”或“人工智能型”节省燃料的交通装置。这种交通装置是一种两轮的、以电池为能源的、能自力推进的单脚滑行车。
伯克希尔公司的纺织业，在20世纪80年代早期整个工商业衰退中是亏损经营的。在1983年稍稍有些恢复，但是，1984年的损失共计200万美元。这个恶性循环正在不断重复进行。
1984年后期，纺织部的董事长加里·莫里森给巴菲特寄来一份详尽的计划，请求巴菲特在新机械方面做一些投资。他说没有新设备的投资工厂不可能赢利。当巴菲特对此没有做答复时，他就明白纺织业的生意接近尾声了。1985年5月1日，莫里森告诉当地的管理人员说，工厂快倒闭了。为了维持员工的工作热情，他没有把这话告诉给工人们。8月12日，工人们被告知了这一情况，机器停止了运转。就在圣诞节前夕，所有的原材料都用完了，所有的订单都完成了，设备也都卖掉了，工厂停止了生产。
就在那一天，伯克希尔公司股票的股价从20年前巴菲特所付的平均价钱11美元，上升到了每股2600美元。
纺织生意他一直做到1985年，尽管短暂的繁荣之后，生意还是渐渐地衰退了。他还是从短暂的经济繁荣阶段，以及运营资金逐渐减少的那段时期，尽可能的争取现金。这部分现金被投资到更好一些的业务上去。最后，他把这家有100多年经营史的纺织公司卖掉了，只卖了一点点钱。这是少数几个让巴菲特赔钱的商业之一。就像尤吉·白瑞恩所说的那样：“原来的五分的镍币，不像今天的一角硬币那样值钱了。”
在1991年的伯克希尔公司的年度会议上，巴菲特解释道，纺织业是专营日用品的一种生意，尽管第二次世界大战中大多数男士的服装，用的是伯克希尔-哈撒韦公司生产的衬里，但是，当外国的商家能够以更低的成本，生产这种衬里时，公司对我们就没有多大的意义了。现在，他知道与低成本的生产者合作了。
“我知道这是一桩很难做的生意……当时我或者是傲慢自大，或者是天真无知。现在，我吸取了很多的教训，但是，我希望我们能从别的什么地方得到这些教训，”他说。
