一向快人快语的吴君如在综艺节目上大肆爆料说不喜欢赵雅芝，原因是她作为有夫之妇，曾和无数中国人的偶像——饰演83版霍元甲的黄元申有一腿。其时雅芝有夫，元申有妇，属于地下情。当时情况是1978年，赵雅芝与黄元申合作了《旋涡》与《剥错大牙拆错骨》，黄元申长相斯文，且有一身武艺，两人合作日久生情。黄元申还写过不少爱情信给赵雅芝，不幸被赵雅芝老公发现，此情遂无疾而终。

　　与“霍元甲”日久生情

　　在1978年左右，有片商开拍动作爱情喜剧《剥错大牙拆错骨》，请了《倚天屠龙记》（张纪中版 苏有朋版 马景涛版 梁朝伟版 吴启华版 郑少秋版）走红的赵雅芝搭黄元申做主角，当时赵早已嫁给一位黄君，行业不同渐生隔膜，遇上黄元申同业同年龄，合作日久生情。但发乎情止乎礼，两人君子相交淡如水，而黄元申也是读过不少书之人，颇有书卷气，常写感情信。当时赵雅芝的丈夫黄君在娱乐圈颇为活跃，识得某周刊老总，黄君在家捡到那些寄给阿芝的感情信，酒酣之时无意向此老总诉苦，该老总于是拿了那些信公开刊出，弄得黄元申和阿芝二人颜面无存。所幸赵雅芝不理世俗专心演戏，凭《上海滩》　、《女黑侠木兰花》等重振声威

　　二遇绯闻

　　后来遇到从美国回来的黄锦燊，再陷情关的赵雅芝又遇谣言。于是黄锦燊邀请杜惠东帮忙召开记者招待会和代付茶水费，次日一并结算。搞笑的是，次日相约“出来见面，面谢帮忙和找清那笔茶钱”时，看过记者会上饮茶咖啡的账单上写着950元，黄锦燊有些严肃地表示：“哗！竟然那么贵？”结果可把杜惠东回说：“不给算了，我又不要讨你便宜，当作是我请了你喝茶吧。”黄锦燊见此马上道歉，并递来1000元：“我说错了千万别介意才好。”杜惠东表示，如今回首此事，也不胜唏嘘好笑。

　　再婚坎坷

　　当初赵雅芝在电视台的事业刚起步没有多久时，就嫁给了她的首任丈夫黄汉伟，并随后生育了两个儿子。两人这段不成熟的婚姻很不幸福，最终难以长相厮守而自然分手。记得当年为争取两个孩子的抚养权，赵雅芝无奈出面与前夫对簿公堂，这成为当年香港娱乐圈内最火爆热门的新闻话题！在随后的事业发展中，赵雅芝在跟艺员黄锦燊合演电视剧集《女黑侠花木兰》的时候，戏假情真的传出绯闻，但是随后赵雅芝与黄锦燊两人正式地承认了相关恋情，并于八五年在美国注册结婚，随即赵雅芝就变成另个黄太太，同时也生了第三个孩子。两人的感情一直都很稳定。