回自己的家，别人还这样说，虽然是开玩笑，但是不是太过了？

我和老公一月初回娘家的，三月底老公赶清明回老家给公婆及爷爷奶奶上坟，我继续留在娘家照顾陪伴老妈。

时隔一个多月，我回到自己家，到家那天，吃过晚饭，老公叫我一起散步，走到最一个十字路口，老公东张西望，我问他干啥呢？他说看看他以前的那个同事来了没？我一听就说：你们约好一起散步的，我就不去了，我一个人走走。老公说没事，他来了。

老公这位同事，我们都认识，见面打了个招呼，他对我说：你不在那边（我娘家）待着，回来干啥？老韩一个人过得很好，你是怕……，没等他说完，我就笑着说：这是我的家，我还不能回来？在娘家四个月了，我姐接班，我回来休息休息。

第二天我对老公说：你还是跟你同事散步吧！老公说：他可能已经出发了，不管他了。

如果你老公的同事这样跟你开玩笑，你怎么接话？