后世有许多学者，认为伍姓是传自春秋末期的楚国伍家，譬如，《姓纂》一书上所说的：“楚大夫伍参生举，举生奢，奢生尚、员，员字子胥，奔吴，其子又为王孙氏，奔齐”，就是最明显的例子。
《姓氏考略》一书，却把伍姓的姓源，追溯到更古老的黄帝时代。该书是这样说的：“芈姓，黄帝臣有伍胥，见玄女兵法，当为伍氏之始，望出安定、武陵。”依照这个说法，则是早在5000年前就有了伍姓的，至于楚国的伍子胥一家人，究竟是不是源自这位黄帝的臣子，由于文献缺乏，历来的学者皆无论证。然而，当年楚国伍氏究竟因何而得姓，史书上同样的也没有交代，因此，如果说楚国的伍氏是传自黄帝时的伍胥，似乎也并不是绝对不可能的事。
综观以上所述，伍之为氏，不管是传自大约3000年以前的楚国伍家，还是源自5000年以前的黄帝之臣伍胥，其具有悠久的历史，却都是同样的不容置疑。
关于黄帝之臣伍胥，由于年代久远，后世除了知道他跟一部《玄女兵法》有关连之外，其他事迹已不可考。
论起伍氏的始祖，头一位应该是在楚文公十二年伐郑之役中表现优异的伍参。当时，晋国的荀林父帅师救郑，来势汹汹，楚军的行止颇为犹豫，而身为楚国大夫的伍参却有过人之明，衡量大势之后告诉楚王说：“晋之从政者新未能行令，其佐先谷刚愎不仁未肯用命，其三师专行不获听而无上，此行也晋师必败……”结果，楚王采纳了他的意见，跟晋军一决死战，果然大败晋师于，伍参也自此在楚国飞黄腾达，其子伍举，其孙伍奢，都世袭为大夫，显赫异常。
秦汉天下一统之后，历代都有伍姓的名人出现，例如，汉灵帝时有一位谋刺董卓不成，大骂董卓“乱国篡主，罪盈恶大”而死的节义之士伍孚，以及晋代的高士伍朝，和南北朝时曾撰《武陵图志》的学者伍安宾等，都十分有名气。