杜牧那首著名的《过华清宫》，写的就是飞骑千里送荔枝的故事：“长安回望绣成堆，山顶千门次第开。一骑红尘妃子笑，无人知是荔枝来。”
尽管唐玄宗对杨贵妃的专宠超过了普天下的任何一个女人，但是偌大的后宫毕竟是一座千芳竞妍的大花园，玄宗有时候也难免会对一些较为出众的嫔妃产生好感。而杨贵妃虽然知书达理、秀外慧中，但毕竟是一个女人，女人天生就是善妒的，因此也就难免会打翻醋坛子。仗着天子的深宠，杨贵妃一喝起醋来，劲头还挺大，“常因妒媚，有语侵上（玄宗）”（唐·郑綮《开天传信记》），亦即出言不逊，冒犯天子。
史载，玄宗因此龙颜大怒，曾先后两次把杨贵妃遣出了宫。
第一次是在杨贵妃被册封的次年，玄宗命高力士把她送回了兄长杨铦府中，相当于把她轰回了娘家。可早上刚刚把人赶走，玄宗下午就后悔了，但他又碍于天子颜面，不愿开口把她接回来，于是就找借口大发脾气，“暴怒笞挞左右”。精明的高力士很清楚天子在想什么，便“伏奏请迎贵妃归院”。玄宗赶紧就坡下驴，当天夜里就命高力士把杨贵妃接回了宫中。杨贵妃回宫后“伏地谢罪”，而玄宗当然也是“欢然慰抚”，于是二人重归于好，并且“自是宠遇愈隆”（《旧唐书·杨贵妃传》）。
第二次是在天宝九载（公元750年），玄宗又把杨贵妃赶回了娘家。当时天子跟前的红人、著名酷吏吉温与杨贵妃关系很好，当即入宫启奏，故意正言反说：“妇人智识短浅，忤逆圣情，然贵妃久承恩顾，纵然要将她治罪，也应在宫中就戮，何忍让她受辱于外？”玄宗遂令宦官前去给贵妃赐膳。杨贵妃哭着对宫使说：“妾忤圣颜，罪当万死。衣服之外，皆圣恩所赐，无可遗留，然发肤是父母所有……”（《旧唐书·杨贵妃传》）话音未落便泣不成声，旋即剪下一缕秀发，让宫使带回。玄宗一见断发，顿时又惊又怜，慌忙命高力士把杨贵妃接了回来。