1942年2月，日本宣布香港为日军占领区，任命陆军中将矶谷廉介为香港总督，总督府设在中区汇丰银行。在三年零八个月的残暴统治期间，日本占领当局采取了以掠夺香港资源为核心的经济政策，以支持所谓的”大东亚圣战“。它通过两家日本银行——正金银行和台湾银行，接管了香港主要的外资银行，还大量发行军票进行大肆掠夺。对所谓敌国企业实行查封，怡和、太古等英资大公司在香港和中国内地的绝大部分业务均告停顿，九龙仓在尖沙嘴的码头货仓遭到严重损毁。在对外贸易方面，占领当局实行贸易垄断政策，通过日本商人组成的香港贸易联合会，控制了香港的海外贸易。3月，日本当局公布香港占领地管理法，严格限制当地人民迁移和从事经济活动。根据该法令，任何人出入境、在港居住或经营生意，都必须得到总督的批准。香港大部分公司、商行的生意陷于瘫痪，利丰也不例外。冯柏燎因为拒绝与日本人合作，生意无法再维持下去，域多利电筒厂被迫宣告结业，该厂全部机器设备均被占领军征用。

冯柏燎一家唯有变卖珠宝、产业维持生计。他原计划要携全家离开香港重返内地，但因占领当局的限制法令未获准离去，只好与家人，包括高龄的母亲、冯慕英、冯汉柱、李冯丽华等，继续留在香港九龙塘的家中，等待时机。不过，冯柏燎把五子冯汉兴送到广东韶关继续学业；其他几个年幼的子女，包括冯汉邦、冯丽嫦、冯汉彦、冯丽霭等，送返内地经重庆前往美国或英国。这几个子女后来在美国或英国都完成了大学学业，取得了高级学位，成为学有素养的专业人士。其中，冯汉邦从美国一所大学毕业，成为土木工程教授，冯汉彦则成为一名医生。

1943年，广州日军占领当局宣布，华侨必须返穗缴纳物业税，冯柏燎遂乘机向香港日本军政府申请回广州重新登记他的房地产以及缴交物业税，获得了批准。冯柏燎回到阔别多年的广州，巡视在六二三路的利丰物业，然而他看到的却是颓垣断壁、一片废墟，眼看一生事业毁于此，难免触景伤情。这时，冯柏燎已步入老年，患有高血压，旅途劳累加上情绪激动，突然得了中风症，不幸于4月15日病亡。其后，冯柏燎家人携同他年老的母亲，借口奔丧举家离港返穗。当时，将冯柏燎年老的母亲送往广州，实在是一件相当困难的事情。利丰的藤器工人特地为她制造了一辆藤制人力车，将她从九龙塘家中送到香港码头。大约一个月后，老人家也因为天气环境转变以及水土不服而与世长辞。其余的家人遂留在广州，直到抗战结束。

冯柏燎先生是香港乃至中国早期行商的佼佼者，他在青少年时即接受西方先进文化的教育，精通英语，由于经常到欧美考察，是香港商人中最早与国际接轨、具有国际视野的先驱，了解世界市场动态。他抱着满腔热情试图以商业救国，可惜生不逢时，遇到的是国内连年战乱、外国侵略。他一生最重要的贡献，是创办了利丰，为利丰奠定百年基业。

1937年出版的《香港华人名人史略》，对冯柏燎先生有极高的评价：