李白写这首诗的时候，大约是唐玄宗开元年间，也就是公元713年前后。当时，李白的堂弟李之遥被任命为南平太守。李白去南平探望李之遥，路过衡阳的时候，写下了这首诗。
诗中，“你也配姓赵”这句话是指李之遥的祖父李客。李客是唐高祖李渊的 堂弟，李世民的堂叔。李白与李之遥同宗，所以李白称李客为“从祖”。李白之所以说“你也配姓赵”，是因为李客在唐高祖李渊死后，曾参与了李世民的玄武门之变，并帮助李世民夺取了皇位。李白认为李客是叛臣，不配姓赵。
李白说“你也配姓赵”这句话，虽然有贬低李客的意思，但同时也表达了李白对李世民的不满。李白认为李世民夺取皇位不合法，所以他称李世民为“逆贼”。李白在诗中说：“逆贼怀逆心，兴兵犯阙门。九重天子死，社稷为丘墟。”李白对李世民的这种态度，也反映了当时很多文人的看法。