在原著小说《知否知否应是绿肥红瘦》中小公爷齐衡最后和六王爷的女儿嘉成县主成婚了,这个嘉成县主为了能嫁给齐衡使用了各种手段,还逼迫爱慕齐衡的荣飞燕自尽,为此也给她日后埋下了隐患,在小说后期宫廷混乱中嘉成县主被荣飞燕的哥哥报复,最终凌辱致死。
之后,齐衡娶了第二任妻子,是当朝内阁首辅申大人的孙女,身份也很尊贵,她和齐衡之间相处的很融洽,两个人婚后还生下了一对双胞胎,后来齐衡被派外任,她不顾家人的反对,执意带着两个孩子去找齐衡,却在中途三个人病死了。
在第二任妻子病逝后,齐衡娶了第三任妻子,是庆宁大长公主的嫡孙女,是三任妻子中身份地位最高的人,在小说中齐衡是齐国公的二公子,但凭借第三任妻子的家世背景,成功的继承了父亲齐国公的爵位,与妻子婚后生下两个儿子,但是这位妻子也没过多久便病逝了,去世时年仅三十岁。
齐衡和明兰分开后,一生只娶了三位妻子,但都英年早逝了。之后,齐衡一生未再娶正妻,一直孤独到老。