最后，丰臣秀吉终于如愿以偿，进入远江国（今静冈县）的松下嘉兵卫家中帮佣。丰臣秀吉的第一件工作就是帮主人拿拖鞋。由于去武士家工作是他的最大愿望，因此丰臣秀吉工作勤奋，没多久即受到嘉兵卫的重视，将他提拔为出纳管理员。然而好景不长，丰臣秀吉的能干与勤奋受到同事的嫉妒，一大群人经常在嘉兵卫的面前中伤丰臣秀吉，尽管嘉兵卫再三保护他，但阻止不了众人的诽谤，终于在嘉兵卫善意的说明原委之后遭到解雇。丰臣秀吉在松下嘉兵卫家里工作四年，虽然遭受解雇，但是他仍然感谢嘉兵卫对他的提拔与呵护。后来，丰臣秀吉称霸天下之后，他派人去寻找松下嘉兵卫，在远江国久能地方赐给他三万一千石的领地，并任他为大名。
天文二十三年（1554年），丰臣秀吉回到尾张国，投奔到尾张的领主织田信长（おだのぶなが）麾下。以足轻的身份成为了织田氏的家臣。最初丰臣秀吉也只是打杂的仆役，但他的聪明才智得到织田信长的赏识，逐步由仆役升格成为下级武士。深得织田信长喜爱，在织田家的地位不断提升。
永禄三年（1560年）左右，丰臣秀吉成为织田家的足轻组头（足轻是临时征集的农民兵，组头相当于小队长），并参加了着名的桶狭间合战（おけはざまのたたかい）。据说战后因其功绩信长将浅野长胜的养女宁宁（ねね）许配给他。永禄四年（1561年），丰臣秀吉与宁宁结婚。讨杀了今川家督今川义元后，织田信长与从今川独立的松平元康（后来的德川家康）结盟，以稳定东部防线，而后回过头来向北攻略美浓国的斋藤义龙。
永禄九年（1566年），在多次进攻斋藤义龙失利后，织田信长决定修筑墨俣城，但猛将柴田胜家与佐久间信盛先后失利。丰臣秀吉临危授命，他在取得蜂须贺正胜帮助的情况下成功完成任务，传说墨俣城一夜筑城，进一步得到织田信长赏识，为后世所称道。修筑墨俣后，织田信长将居城迁往离美浓更近的小牧山城（此前在清洲城）。不久美浓发生竹中半兵卫以十七骑轻取稻叶山城（斋藤居城）的事件，事后半兵卫放弃稻叶山城。得知此事后，丰臣秀吉以“三顾”之礼将半兵卫召至麾下，并借半兵卫之力招降美浓三人众（稻叶一铁、安藤守就、氏家卜全）。次年，织田信长出兵稻叶山城，在众叛亲离的情况下，斋藤龙兴兵败被俘。此后信长迁居岐阜城（即稻叶山城），并开始在“天下布武”的名义下开始了统一日本的战争。
永禄十一年（1568年），前征夷大将军足利义辉（被三好氏杀害）之弟足利义昭来到美浓国寻求援助，于是织田信长便以援助将军家为名出兵上洛（意指进京）。同年，丰臣秀吉改藤吉郎为木下秀吉。元龟二年（1570年），在打败三好家之后足利义昭被拥立为将军。随后织田信长又以违抗将军命令为由出兵越前国朝仓家，织田信长征朝仓义景因浅井长政突袭被迫撤退时，中途在金崎得到盟友浅井长政的背叛的暗示，在撤退途中受到浅井军攻击，此战丰臣秀吉负责殿后，保护织田信长和德川家康安全撤离。历史上称之为“金崎殿后”。
天正元年（1573年），织田信长击败了浅井长政，浅井长政自尽，浅井的旧属归织田家所有。三十七岁的丰臣秀吉因军功受封近江国今滨城城主，领浅井故领北近江二十二万石，将城改名为长滨城，开始跻身于战国群雄之列。同时他取织田家名将柴田胜家与丹羽长秀名字中各一字创造出一个新苗字——羽柴，称羽柴筑前守秀吉（筑前守是官位）。
天正四年（1576年），丰臣秀吉支援北陆柴田胜家对抗上杉氏，丰臣秀吉见胜家占下风立即撤离，结果胜家在手取川之战中大败，使柴田胜家和织田信长有所不满。在织田信忠的指挥下，丰臣秀吉参与攻击松永久秀的战斗。天正五年（1577年），赤松则房、别所长治、小寺政职臣跟从织田信长之下，丰臣秀吉受命攻略中国地方，任播磨国国主，根据城为姬路城，受命后不久别所长治及荒木村重背叛织田信长，丰臣秀吉与他们战斗。
天正七年（1579年），丰臣秀吉使宇喜多氏完全臣服于织田氏，天正八年（1580年）别所长治和荒木村重战败，别所被捕，切腹自尽；荒木逃离，全家被织田信长诛杀。丰臣秀吉开始与毛利氏及山名氏交战，攻下了鸟取城、三木城、高松城等重要据点，丰臣秀吉在此发挥了长时间包围战城池战法——断粮，使敌军提早开城投降。“鸟取断粮”、“水淹高松城”等着名战役不仅遏止了毛利的东进而且迫降宇喜多直家，甚至毛利也难以招架。
天正十年（1582年），发生了本能寺之变（ほんのうじのへん），46岁的秀吉偶然及早获知织田信长死讯，实行“中国大撤退”（ちゅうごくおおがえし）。当时织田家有力重臣均不在信长身边，丰臣秀吉则率三万兵力进军备中，正在水攻毛利军高松城。高松城是天然要害，四周都是沼泽。丰臣秀吉的军师黑田孝高（官兵卫）建议引水灌城。丰臣秀吉以破格高价动员邻近村民，花了十二天在高松城沼泽地带四周筑起一道三公里长、七公尺高的堤坝，再引进河水，让高松城成为浮在湖中的水城。水攻十天后，吉川元春（毛利元就次男）、小早川隆景（毛利元就三男）率领一万五千援军赶到，却只能在俯望丰臣军的山上布阵，无法动弹。因为只要丰臣秀吉的军队有意向捣坏堤坝一隅，浊流很可能吞噬整座城。