伍子胥是楚国贵族，楚国国君后裔，本名叫伍员，他的父亲是伍奢，哥哥叫伍尚。后因楚国王室的一桩冤案而逃往吴国。

吴国讨伐越国，越王勾践迎击，在姑苏（现在的苏州）打败吴军，而且伤了阖庐的手指，吴军战败撤退。阖庐的伤口越来越严重，临终前，对太子夫差说：“你千万不可以忘记是勾践杀死你父亲的啊！”夫差说：“我绝不会忘记的。”
  当天晚上阖庐死去。夫差继位后，就以伯（喜否）作为太宰（宰相），让部下练弓准备作战。两年后，吴国征伐越国，在湫山（江苏省的山名）大破越军。于是越王勾践就和仅存的五千名士兵跑到会稽（浙江省）山上，并派大夫文种，赠送很多东西给吴国的太宰伯（喜否），请求讲和。为了保住国土，勾践夫妇提出愿意成为吴国奴隶的条件。吴王想答应，可是伍子胥进谏说：“越王是个能吃苦耐劳的人，现在大王如果不消灭他，将来一定会后悔的。”
  吴王不听，却采用太宰伯（喜否）的意见，和越国讲和。
  五年以后，吴王听说齐景公已死，大臣相互争宠，新王也还很年轻，所以兴起出兵远征齐国的念头。
  伍子胥进谏说：“勾践每顿只吃一菜，他是这样的节俭。他又去祭吊有丧事的家，探望生病的人，是想趁机拉拢他们，如果不杀掉这个人，将来一定成为吴国的祸患。越国对于吴国来说，就好像一个人的内脏有毛病一样。如果大王不先收拾越国，而把全副的精神都贯注在讨伐齐国这件事情上，是个很大的错误！”
  可是吴王不听，还是决定讨伐齐国，并且在艾陵（山东省）大破齐军，同时也威胁着邹国和鲁国。从此以后，吴王就越来越疏远了伍子胥。
  经过四年之后，吴王又想讨伐北方的齐国。越王勾践于是受用子贡（孔子的学生）的计谋，率领大军帮助吴国，并且把巨额的财宝送给太宰伯（喜否）。伯（喜否）因为屡次收受越国的贿赂，所以特别维护它，日夜在吴王面前说越国的好话。吴王虽然相信伯（喜否）的策略，但伍子胥仍然不死心地进谏说：“越国就像内脏的毛病一样，大王现在相信他的谎话和虚伪，而对齐国的土地怀有野心。但是即使攻陷了齐国，也像获得了满是石头的荒田一般，一点好处都没有。《盘庚之诰》（《书经》篇名）说：‘如果有人破坏礼法、违抗上命，就应该去消灭他，并且斩草除根，绝不让他留下任何祸害。’这就是商朝之所以能够兴盛起来的缘故。我希望舍弃齐国，先对付越国，如果不这么做，以后恐怕懊悔也来不及了。”
  吴王不但不听他的话，反而叫他到齐国去。伍子胥要动身的时候，对他的儿子说：“我虽然屡次进谏吴王，但吴王并不听我的话。因为他不听，所以我将会看到吴国的灭亡。你和吴国一同灭亡，是没有任何好处的。”
  于是让他的儿子到齐国鲍牧家里去，请鲍牧照顾，然后自己一个人回来报告齐国的情形。
  吴国的太宰伯（喜否）已经和伍子胥绝交，所以就到吴王面前说他坏话：“伍子胥做人既倔强又薄情，而且疑心病很重。他怨恨大王的心情，可能会酿成很大的灾祸。之前大王要讨伐齐国的时候，子胥不是反对而不让您去吗？如今您又想去讨伐齐国，伍子胥强行进谏，阻止您的大事，无非是怕您大获全胜，而证明他以前的推断是错误的。所以这种人您一定要提防着点呀。不但如此，我曾经叫人暗地调查他的行动，结果发现他出使齐国的时候，竟然把自己的儿子送到齐国的鲍牧那里，请他代为照顾。凡是身为人臣的，不应该在国内不得意，就倚靠外面的诸候呀。他这是想窜通外国谋反呀！”
  吴王说：“就是你不提，我也早就怀疑他了。”
  因此就派了一个使者到伍子胥那里，并赐给他一把属镂宝剑说：“请用这把宝剑自杀吧！”
  伍子胥仰天长叹道：“唉！奸臣就要乱国了，大王反而要杀了我。我帮他的父亲完成了霸业，他还没继位的时候，每位公子都争着要继位，是我拼命到阖庐那里争取的，假如没有我，他可能无法成为一国之君的。当他继位的时候，还要把吴国的土地分给我，但被我推辞了。可是现在他竟然听从只会阿谀奉承的臣子，而要杀害我这位长者！”
  然后他告诉自己的内人说：“我死了之后，你一定要把梓树种在我的坟墓上，以方便将来提供给吴王做棺材，并且请你挖出我的双眼，挂在吴国的东城门上，让我能够看见越国进来消灭吴国。”
  话一说完，就自刎而死。
  吴王听了这些话后非常生气，就把伍子胥的尸首装在马皮袋子里面，扔到了江里。但吴国人很同情他，就在江边替他设立了祠堂，并且用他的名字命名为“胥山”。
  吴王杀了伍子胥后，终于前往攻打齐国。
  越王勾践就在这个时候，袭击吴国，并杀死吴国太子，大破吴军。此时吴国腹背受敌，军事实力遭受重创。吴王回国后派人送了很多厚礼，希望和越国讲和。但在九年之后，越王勾践还是消灭了吴国。