然而，当时人们对改革开放政策还抱有诸多疑虑和不安，宾馆的建设也因此充满了艰难和曲折。

1979年7月，在克服了种种困难后，项目开始正式规划行动。

同年11月，白天鹅宾馆在沙面岛这一具有深厚历史文化底蕴的地方正式动工。‘

沙面岛曾是外国租界和外国驻华领事馆的集中地，选址于此，霍老不仅看重了江畔淤塞滩涂的空旷与视野开阔，更希望通过这一建筑，展现我国历史的沧桑巨变，激励民族志气。

然而，建设过程并非一帆风顺。首先是资金筹集问题，由于当时国内不允许外商独资，白天鹅宾馆的建设资金来源于霍老、彭老板等港商的投资以及国内银行的贷款。

按照当时的汇率折算，总投资近1.8亿元人民币，这在当时是一笔巨大的数目。

然而，资金问题反而不是最棘手的。更严峻的挑战在于，酒店的建设面临着物资短缺、进口困难等重重问题。

为了解决这些问题，霍老不得不四处奔波，向海外订购各种建材和酒店设备，确保建设进度不受影响。

在建设过程中，白天鹅宾馆还曾遭遇过被要求楼顶架设高架炮的危机。

当时，由于国际形势复杂多变，和吼子国边境形势紧张，军方有人提议在宾馆楼顶设置高架炮以加强防御。这一提议无疑会对宾馆的建设和运营造成巨大影响。

幸运的是，经过多方努力和协调，这一提议最终没有被采纳，白天鹅宾馆得以顺利建成并投入使用。