打油诗一词最早见于唐朝诗人杜甫的《戏为六绝句》中，其中有一句是：“熟精文选理，生怕出新奇。或看钻戒袜，却恨踏油诗。”这里，杜甫用“油诗”来形容那些内容贫乏、语言俚俗的诗歌，并将其与“钻戒袜”相提并论，可见他对此类诗歌的态度是十分轻蔑的。
到了宋朝，打油诗一词的使用更加广泛，并逐渐成为一种专门的诗歌体裁。宋人洪迈在其《夷坚志》中曾记载：“予友王君玉，工于诗，而尤喜为打油诗。”可见，打油诗在宋代已成为一种广为接受的诗歌形式。
宋人刘克庄在其《后村诗话》中对打油诗进行了定义，他认为：“打油诗，本唐人戏作，句率多取五字。宋末吴中士人祖之，或至七言，皆不押韵，惟上下句末字协音，钝于辞章，不为诗体。”由此可见，打油诗的主要特点是句式自由、押韵不严格，语言浅白俚俗，内容幽默诙谐。正是由于这些特点，打油诗在当时深受文人的喜爱，并逐渐成为一种流行的诗歌形式。
元代以后，打油诗逐渐衰落，但仍有部分诗人对其情有独钟。明代李东阳、清代袁枚等诗人皆有打油诗作品传世。近代以来，随着白话诗的兴起，打油诗逐渐淡出了诗坛，但其幽默诙谐、通俗易懂的特点仍然为人们所喜爱。