乾隆四十九年（1784），祖上由福建移居广东南海的商人伍国莹受粤海关监督委任，承充行商，设立怡和洋行。据说因其子乳名亚浩，国莹取以为商名，外人遂称之为浩官（Howqua）。

伍氏怡和行开张后，除了与粤海关关系不错之外，与东印度公司的关系也颇为融洽，因而局面渐渐打开。8年后（1792），伍国莹将行务交给其子伍秉钧打理。此后，怡和行与东印度公司的贸易额继续增加，在行商的排位也稳步上升；到1813年，已成行商之首。

在此时数百种进出口货物中，东南亚的香料、大米，印度的棉花，欧美的银元、钟表、布匹、玻璃制品、洋参，是中国主要的进口物品；茶叶、丝绸、瓷器等则是出口货物的大宗。

在中国出口到欧洲的商品中，茶叶无疑是最重要的一种，有人形容：“如果以欧洲人在东亚所追求的主要商品为依据，对欧洲人在东亚的贸易进行分类的话，那么，16世纪可以说是香料的世纪，17世纪是胡椒的世纪，而18世纪无疑是茶叶的世纪。”

从18世纪60年代起，东印度公司在多数年份中，所购买的茶叶占其从中国总进口值的一半以上。进入19世纪以后，英国东印度公司每年从中国进口的茶叶更是占其总货值的90％以上。福建的茶叶享誉欧洲，由于在武夷山拥有茶山，伍氏怡和行出口茶叶的配额在行商中居于首位。

渣甸待在广州的几个星期里，或许见到了接手怡和行行务不久的第三代掌门人――伍秉鉴。就在一年前，即嘉庆六年（1801），年仅35岁的怡和行第二代传人伍秉钧在怡和行业务持续攀升之时英年早逝，行务转由其三弟伍秉鉴主持。伍秉鉴一接手管理行务，立即将他哥哥身故的消息告诉了英国东印度公司，同时表示怡和行行务各事，“俱照家兄生前如常办理，无用挂怀”。

伍氏怡和行既可在清政府面前为东印度公司的贸易疏通关节，在商业往来上又极具诚信，因此颇得东印度公司信任。每当广州贸易季度结束、大班离开广州到澳门居住时，往往将公司的存款和金银交怡和行保管。