霍英东半年后回国，躲过工潮风波，但不小心又被卷入“星光行”事件，这一次他大受影响。星光行(九龙商业大厦)是霍英东集团和另外三个集团合资，组成九龙置地公司在1962年开建，整栋大厦共投资3000万港元，是一项大地产项目，霍英东个人承担1750万，即总投资的60%。星光行主要用于收租。

　　星光行位于尖沙咀海旁，位置极佳，其中一个较大的租户就是中艺公司。“中艺”以经营中国工艺品为主，有中资背景。当时港府限制中资企业发展，霍英东把星光行租予“中艺”，自然被港英视为亲中的表现。

　　整治就从星光行入手，首先，美国驻香港领事将星光行列入“黑名单”，宣布所有星光行的租客都不能买卖美国货，就连美国制造的那些收银机也在禁售之列。受影响最大的是楼内的保龄球场和顶好百货公司。

　　不少租客对星光行望而却步，霍英东被迫决定以每英尺9毫钱的超低价租出。因为他算过，若以这个价钱把整幢星光行出租，只要熬过7年，就可赚回所有投资。低价有吸引力，不少租客回头，但香港电话公司出恶招，给有意租用星光行的商户打去电话，“忠告”他们：最好不要租星光行，如果租下来，接通电话可能遥遥无期。

　　如此打击，商家撤离，星光行变成死楼，毫无生气。霍英东和几个股东商量後，决定出售星光行。但当时正是香港地产市道处于历史低潮时期，楼宇有价无市。英资置地公司找到霍英东，提出以3750万港元收购星光行。置地是香港最大的外资地产公司，其母公司怡和是香港最大的英资公司之一。

　　置地提出一个新的收购方案：先付清霍英东投资的750万和汇丰的1000万港元贷款；其余2000万，以承诺票据形式结算。虽然屈辱，但对抗无法解决问题，再三权衡之後，霍英东被迫收下置地的那纸承诺票据，出售星光行。

　　在星光行事件中，霍英东受重挫，损失惨重，之後，他还是把大量资金押在地产上。1968年，他斥资发展康宁道24号第一期工程；1969年，发展维多利亚大厦、康宁道48～52号第二期工程、铜锣湾道82号工程；1970年，斥资140万买下薄扶林沙宣道33号豪宅，并发展钵仑街124～128号工程。然後，又将资金投放于轩尼诗道、天後庙道一带的物业。

　　但是，由于港英政府着意“封杀”霍英东的发展空间，1967年之後的霍英东，已经改变投资策略，以退为攻，步步为营，并逐渐淡出香港的地产市场。

　　1968年，世界货柜运输业刚刚兴起，香港也要在葵涌发展货柜码头，但是最大那个码头，也就是後来的一号码头，最早是霍英东一个人独力投标获得建设权，但，港府当时突然节外生枝，要霍英东作出担保，保证每年至少要有20万个货柜箱在码头停泊，才能批准霍建设做。当时，整个香港也没有20万个货柜箱，这一无道理的苛刻条件，明显在逼霍英东退出，霍抗争之後，只能无奈退出。霍英东和港英政府不合，已经相当明显，商界也看得清楚，而港英政府强硬打压霍家的态度也让霍在经营方面，屡受阻碍。

　　之后多年，熟悉情况的人说：如果不是港英打压，仅仅海军船坞、星光行、货柜码头，三大项目，霍英东就是今天香港当之无愧的“地王”、“码头大王”、“香港首富”。

　　之后，一些华资商人，如郭得胜、李兆基、李嘉诚、胡应湘、郑裕彤等，进军地产市场，并大有斩获，财富剧增，成为香港地产行业的中流砥柱；到了70年代初期，华资地产商已强大到足以与英资分庭抗礼。而霍英东，却只能旁观郭得胜、李嘉诚、李兆基等人，兴建一个又一个屋村，大发其地产财。

　　从此之后，霍英东很少在香港商界呼风唤雨，他低调从事一些基础设施工程，并转战海外，进军内地，进军澳门赌业，很多故事在之後的30年间发生，这个昔日红极一时的商人、地产奇才、商界领袖，不再意气风发，勇往直前，而是沉默了。

　　一直到70年代末，中国逐步开放，霍英东进军广州，建设中山温泉宾馆、广州白天鹅宾馆，并在广东南沙开埠建设，把一块死穴之地，用虎门大桥等4座大桥救活，他才重新获得生命和商业的快感：他做的事不仅是商业成功，更多是社会上的价值仍可。