对于宫廷内外的流言蜚语，甚至法国人的强烈态度，西哈努克并不在乎，因为他同甘霍相恋时，已经过此种压力。然而，这一次使他没有想到的是，最坚决反对她们婚姻的是他的母亲哥沙曼王太后。蓬珊莫尼的母亲作为哥沙曼的继母，同哥沙曼长期不和，积怨颇深。西哈努克的母亲一想到她的继母作为国王莫尼旺的妃子曾背着国王与王子莫尼勒有过一段奸情，就气急败坏。一想到自己的儿子要同那个继母的女儿成婚，而且还要同继母成为亲家，哥沙曼无论如何不能容忍。她对西哈努克说：“和蓬珊莫尼结婚？你就不想想，她的母亲坤娜夫人和她的哥哥莫尼勒亲王欺骗过咱们的莫尼旺国王，这在整个宫廷中是众所周知的。蓬珊莫尼和她的母亲一样不诚实，你是国王，她将来会欺骗你的。以后人们对这方面的议论，你妈妈这辈子是无法忍受的。”驻金边的法国驻扎官戈蒂埃也出来添油加醋地帮腔。

这时，西哈努克突然想起了六年前英国国王爱德华八世为爱情弃位的故事。这位国王为了同一位已离过两次婚的女人辛普森夫人结婚，甘愿放弃了王位，尽管这引起了朝野的指责。西哈努克想，要想保持同蓬珊莫尼的爱情，只有放弃王位。

他向母亲诉说了自己的打算，得到的却是一顿训斥：“你要把自己打扮成滑稽可笑的英国爱德华八世吗？你也要让人责骂吗？”

西哈努克努力坚持，说：“蓬珊莫尼不同于辛普森女士，她是王族出身，而且还是处女。”母亲劝说道：“王儿，你的一切活动都将编入王国历史。恐怕历史学家们会把在位期间的你，写成只会寻欢作乐，不关心国家事务的腐败君主。”她接着说：“假如有一天，你因为不能从法国那里为王国争得独立而弃位，我国人民和全世界都会对你的功绩表示敬佩。但是，如果你为一个女人而抛弃王位，尽管你认为她还是个处女，但对你的父母这是一个难以忍受的奇耻大辱，对热爱你的子女们也是一种严重的罪过。”

最后，西哈努克让步了，答应不同蓬珊莫尼结婚，尽管这时他的父亲表示赞同，因为他正热恋着那个舞蹈演员叶小姐，他能体谅儿子的那种热烈的爱情。

婚可以不结，但深深的爱情仍保持着。作为妃子，她同国王的爱情保持了九年。这九年里，她为西哈努克生了四个王子、三个公主。其中一个王子是夏卡朋。

西哈努克在同蓬珊莫尼保持恋情的情况下，又同前面提到的那位先王妃子石夫人发生了一段艳事。他几乎抵御不了这位夫人的进攻。但是他们的爱意只维持了很短的时间。

这之后，西哈努克又同另一个姑娘坠入了爱河，这就是莫尼盖珊公主。她与西哈努克爱着的蓬珊莫尼是同父异母的姐妹。她生了个王子纳拉迪波，后被送到中国学习。莫尼盖珊在生下纳拉迪波几小时后便去世了。这使西哈努克悲痛欲绝。

但还未完全从悲痛中解脱出来的西哈努克又对另一个公主如痴如醉，她就是天生丽质的表妹诺罗敦·诺丽亚。诺丽亚是西哈努克母亲的姐姐的小女儿。西哈努克自幼同她来往密切，青梅竹马。后来，诺丽亚嫁给了西哈努克的堂弟诺罗敦·瓦克里亚亲王。婚后，由于性格、志趣的不合，导致两人分离。

离异后，诺丽亚心绪烦乱，孤独寂寞，经常来找感情细腻、善解人意的表兄畅谈，以排遣心中的郁闷。久而久之，兄妹俩情投意合，进而情柔意蜜起来。

对于他们俩的关系，西哈努克的父母则感到高兴，因为诺丽亚的身份、家族、教养均符合王室的要求，他们愿意接受她为儿媳。

但是，外界对西哈努克和诺丽亚的恋情却一片哗然，甚至激起了公愤。有人同情莫尼盖珊，认为西哈努克在她尸骨未寒时就移情别恋，缺乏人情味；有人也为瓦克里亚鸣不平，斥责西哈努克居心叵测，充当了“第三者”，搅散了瓦克里亚同诺丽亚的婚姻。还有人嘲笑瓦克里亚，说他为捞取荣誉，而将老婆让给了西哈努克。总之，人们认为诺丽亚和瓦克里亚的婚姻破裂与西哈努克有关。为了平息外界的非难，西哈努克不得不暂时避开诺丽亚。于是，已经扬起爱情之帆的小船暂时搁浅了。