同时，霍英东也开始改组霍兴业堂有限公司。霍兴业堂是霍英东涉足地产行业後成立的第一间公司，也是霍氏集团几十间公司之旗舰，其股权原来由霍英东和大太太吕燕妮持有；而後股权有所变化，主要股权分配给霍英东和吕燕妮所生的几名子女，少数股权分配给其母亲刘氏、其妹霍慕勤和二太太冯坚妮。

　　1967年2月，霍英东成立一间名为Beaulieu的有限公司，将霍兴业堂的控制权转移到这间公司去，但保留其家人分取利润的权益。这家新公司的股东并不是霍英东及其妻子、儿女，而是另有他人，分别是其妹霍慕勤、妹夫蔡源霖，以及霍铭波、彭延匡和屈洪畴，其中屈洪畴是霍英东多年聘用的会计师。

　　这样的安排表明：霍英东不是要放弃对霍兴业堂的控制权，而是利用Beaulieu遥控霍兴业堂的业务和资产。

　　霍清楚了解港英当局不希望他在香港工商界越做越大，想尽办法要限制他的发展。霍英东在1967年2月对霍兴业堂改组，目的为家族生意和家族财产安排一个妥善的退路；这被视为霍英东淡出商界的第一步。

　　此时，正逢中国内地文革狂潮，间接影响香港工潮不断，1967年5月6日下午，在人造花厂九龙新蒲岗分厂门外，对立的两派工人发生冲突，警方出动200余名武装警察和“防暴队”，用武力驱散工人，当场殴伤多人，拘捕21人，酿成“人造花厂流血事件”。

　　霍英东看到事件後，经过一番考虑，当天晚上，他做出了一个决定：暂时离开已经出现混乱和动荡的香港。第二天一大早，他顾不上通知公司的要员，只和家人简单打个招呼，就草草收拾行李，匆匆赶赴九龙启德机场，临时买票搭上飞往英国的客机。

　　霍英东在英国、加拿大、美国等地，巡游参观达半年之久。他在躲避一些事，也极力回避很多事。

　　回忆香港的1967年，很有意思，这一年5月22日，香港工潮风起云涌，游行队伍遭到警方武力镇压，200多人受重伤，多人被捕。之後，港府和“左派”力量展开长期的对峙，先是工人大罢工，交通一度陷于瘫痪，再发展到城市游击战式的对抗，其中最激烈的一次，警方出动逾千名警察，动用直升机，携带先进武器，围攻北角华丰国货公司。商界名人利铭泽，不满港府暴力镇压中国人，愤然辞去行政局首席议员等一切公职。进入该年8月，骚动扩大至边境地区，在沙头角一带，大量民众与英军多次发生武装冲突。“六七风暴”，有51人死亡，800多人受伤，是香港有史以来最大的社会动乱。