首先，他在政治上就没有和武后站在一边。这一点武后是在乾封元年看出来的。当时魏国夫人贺兰氏因武氏兄弟献食而暴亡，贺兰敏之参加妹妹的葬礼时，高宗哭着对他说：“我上朝时她还好好的，怎么一退朝就中毒不治了呢？事情为何发生得如此仓促？”
如果贺兰敏之够聪明的话，不管他当时心里想什么，都应该立刻把责任推到武氏兄弟身上，请高宗主持公道，说一些依法严惩武氏兄弟、替妹妹报仇之类的话。
可是他没有。
他自始至终只是陪着高宗伤心落泪，什么话都没说。
这说明什么？
这至少表明——他知道杀死妹妹的凶手不是武氏兄弟。
当武后得知贺兰敏之对这件事的反应之后，她只淡淡地说了四个字：“此儿疑我。”（《资治通鉴》卷二○二）
心机缜密的武后知道，贺兰敏之已经猜出谁才是幕后真凶了。
就是从这个时候起，武后意识到，这个贺兰敏之绝对成不了自己政治上的帮手。
除了政治上让武后觉得靠不住之外，贺兰敏之的个人秉性和所作所为也让武后深感厌恶。
因为这小子是一个彻头彻尾的花花公子，基本上什么样的女人都敢搞。
最让武后吐血的就是，和贺兰敏之私通的女人，有一个居然是他的外祖母，也就是武后的母亲——杨氏！