商人出仕
幼名彌九郎，是商人小西隆佐的義子，娶了隆佐親女小珠後，被委派至岡山魚服屋處與備前大名(諸侯)宇喜多直家進行貿易，有一次正逢直家外出時，遇到三浦家遺臣的襲擊，當時直家身邊並沒有帶護衛，只有幾名小廝，此時彌九郎挺身而出擊退了刺客，令直家安全脫困，此事之後彌九郎受到直家賞識，將他由商人破格拔擢爲武將。
歸入宇喜多家的小西行長向家中武將遠藤又次郎學習火槍及水軍戰法，在橫行瀨戶內海的海賊村上武吉宣告依附嚴島海戰後勢力大增的安藝毛利家後，爲了應付毛利家逐漸逼近的威脅，直家起用遠藤和小西行長組織宇喜多家的水軍以鞏固岡山城的安全。
在小寺家家老黑田官兵衛的引導下，織田家以羽柴秀吉爲總大將出兵山陽道，夾在織田與毛利兩大強豪之間，據有備前、美作兩國的宇喜多直家雖在第二次上月城之戰時，借毛利家的兵力奪回被秀吉兩大軍師黑田官兵衛和竹中半兵衛所攻下的上月城，但是第一次上月城之戰時，不論是小西行長與遠藤又次郎，又或者是一代奸雄宇喜多直家，都被織田家強大的武威所懾，所以在第二次上月城之戰時直家故意稱病不出，並且在戰後派能言善道的小西行長爲使與豐臣秀吉進行交涉，令人意想不到的是這項任務竟是小西行長一生的轉折點。
接觸秀吉
爲了完成這項任務，小西行長徹底發揮商人這個角色的外交天賦，他讓義父小西隆佐借出大筆金錢予秀吉資助軍費，並換得日後播磨和但馬的優先經商權，使隆佐大大獲利，然後以“藥商小西隆佐義子”的名份晉見秀吉，轉達直家的心意，順利和織田方達到一定的協議同時也避免毛利家查覺直家的二心，圓融的手法令直家十分滿意，慢慢地將小西行長提升到與三家老相當的地位。
織田家掃蕩了三木城別所家並平靖攝津軍團長荒木村重的反叛後，直家正式投入織田家陣營，在羽柴秀吉的努力下宇喜多家保住全領部領土。天正九年直家重病去世，他逝世前，秀吉帶了成爲人質的直家幼子八郎到岡山城在直家面前替他元服，並讓小西行長擔任他的太傅，隨着秀家質於姬路城，小西行長也與秀吉接近頻繁，從另一角度來看，小西行長已等若豐臣秀吉的家臣，更在天正九年時於秀吉攻打播磨寶津時被任命爲水上兵站奉行。
受封肥後
天正十年織田信長死後，秀吉擊敗柴田勝家登上天下人的寶座，小西行長在他麾下擔任水軍將領，負責管理小豆島及瀨戶內海一帶水上輸送的職務，之後官拜從五位下攝津守，得到兩萬石的領地，被賜豐臣姓，同時在高山重友的勸說下改信天主教。由於肥後國主佐佐成政治理不力，領內引發一揆動亂，秀吉派出小西行長與加藤清正共同前往鎮壓，因功得到肥後南半國二十四萬石領地，小西行長由一介商人之子躍爲宇土城二十四萬石的大名。
侵犯朝鮮
文祿之役
統一日本後的豐臣秀吉對中國產生野心，遣使命令朝鮮借道讓他進軍中國，但卻被朝鮮王李昖嚴正拒絕，秀吉大怒發兵攻打朝鮮，秀吉將先鋒分爲三隊，第一軍小西行長一萬八千人，第二軍是加藤清正二萬二千人，第三隊爲黑田長政一萬一千人，一共十軍。由於小西行長和女婿宗義智都常年與朝鮮貿易對朝鮮的地理、人文有相當認識，更通曉中朝語言，所以幸運地得到先鋒第一隊的總大將一職。
五月二十四日清晨五點，小西行長率軍在釜山登陸，翌日加藤清正也中午緊接與小西行長會師，然後加藤清正向蔚山一進發，小西行長則沿南江川直上，率領一萬八千人，商人出身且長期擔任後備兵站奉行的小西行長深知補給線的重要，在完成兵站的調度後，一路延忠清道逐步北上尚州、忠州，勢如破竹地穿過250公里的路程與加藤清正於六月十二日會師中州進據漢城，本來加藤清正一向就瞧不起商家出身的小西行長，所以兩人素來不睦，更在漢城爲了戰利品和戰功發生爭吵，加藤清正還一刀劈碎了小西視若神明的天主聖像，兩人大起爭端。
之後行長與三番隊的黑田長政有黃海道北上攻下平安道上的平壤，得到秀吉的讚賞。相對於陸軍的連戰連捷，日本在海戰上因李舜臣的龜甲船而連吃敗仗，此時人在義州的朝鮮王李一急速嚮明廷告急，明東征總督李如鬆部隊抵達鴨綠江，與小西行長部於平壤交戰，史稱平壤會戰，李如鬆誘降小西行長未遂，中朝聯軍發動總攻，佯攻東南將日軍兵力調走，然後猛攻平壤城西，並以埋伏的虎蹲炮、射程較遠的大將軍炮及佛朗機炮轟日軍，日軍火力不如聯軍傷亡慘重，加上彈藥庫爲明軍炮火催毀，七星門被炸開，於是小西行長撤出平壤，是役殲滅日軍一萬二千餘人，隨後並恢復了朝鮮北部四道，小西行長鋪陳的兵站線全被毀壞。
慶長之役
眼見戰事逐漸不利，豐臣秀吉興起和談之意，命小西行長負責再次與明使沈惟敬進行講和及斡旋的事務，提出了日明貿易再開、跟割讓朝鮮四道等條件，但隨着明神宗一紙"冊封豐臣秀吉爲日本王"的聖旨，談判宣告破裂，秀吉再遣十二萬兵馬進攻朝鮮，日軍以加藤清正爲先鋒，小西行長率二番隊一萬四千人出陣，連奪梁山、三浪、慶州，明軍麻貴靜待一個月等加藤清正氣勢略散方一鼓作氣協朝鮮李元翼部進討清州重挫黑田長政，日右軍主力亦被明軍擊敗，於是右軍往天安撤退而小西行長的左路軍只好也隨同撤退，於是兩軍在東南部沿海佈陣固守。
豐臣秀吉病歿後，接掌政權的德川家康和前田利家等五大老下命徵朝軍回國，在順天的小西行長連忙領兵脫出明、朝聯軍圍攻，但在撤退至蔚山時受阻求援於島津義弘，義弘聞訊連同宗義智、立花宗茂前往會合小西行長，於十一月由露樑海峽大敗後撤退，由於島津義弘的力戰，小西行長才順利歸國。
對抗家康
豐臣秀吉死後，小西行長與摯友石田三成結爲同盟，與德川家康及武鬥派家臣對抗，爲了拉攏搖擺的小早川秀秋，小西行長與大谷吉繼、石田三成、長束正家、安國寺惠瓊五人連署誓書，安撫小早川秀秋，並許諾在豐臣秀賴十五歲成年之前，關白一職由小早川秀秋擔當，同時以播磨一國相贈以爲條件。
戰前西軍於大垣城召開作戰會議，島津義弘及宇喜多秀家認爲德川家康軍隊經過長途的行軍後，會感覺疲倦，應趁機夜襲，但石田三成及小西行長卻認爲這方法太冒險，而決定堅守大垣城。
關原之戰
關原位於美濃西面，爲北面伊吹山脈，東南面南宮山，西南面鬆尾山，西面山中村及南天滿山，西北面的北天滿山及笀尾山包圍住，乃是一個馬蹄形的盆地。小西行長軍分成兩段佈陣於笀尾山南面的北天滿山，而笀尾山與北天滿山之間的街道則是由島津義弘及島津豐久兩叔侄防守，與小西軍相對的南天滿山則是宇喜多秀家的陣地。
在井伊直政突襲宇喜多秀家部隊引發戰火後，形成全面混戰，小西行長同時與織田有樂、古田重勝、寺澤廣高及金森長近的部隊交鋒，之後寺澤廣高部隊亦轉來支援金森長近等人，雖是以寡敵衆小西行長在與織田有樂等的激戰中保持不分高下的局面。
開戰後四小時，日正中天，已是晌午時分，扎於鬆尾山的小早川秀秋部隊發動叛變，對大谷吉繼發動攻擊加上隨他叛變的赤座直保等人，到下午一時，大谷吉繼部隊被消滅，大谷吉繼部隊被殲引起小西行長部隊的嚴重混亂，任憑小西行長又鼓勵又厲叱，仍無法消除手下兵士不安的心理，最後在東軍部隊圍剿下，小西行長兵敗逃往伊吹山。
兵敗身死
逃往伊吹山東面的糟賀村的小西行長與當地農民林藏主會面，他深知自己絕無成功逃走的希望，於是林藏主便勸小西行長切腹以彰武士精神，但是小西行長以基督教教義不許自裁爲由而拒絕，反勸林藏主縛捕他以獲獎賞。九月十九日林藏主將小西行長交至其領主竹中重門手中，竹中重門立即將小西行長送交至德川家康在草津的陣地，林藏主則獲賞賜黃金十枚。
十月一日，小西行長連同石田三成、安國寺惠瓊三人遊街示衆，隨後於京都六條河原斬首，在三條河原梟首示衆，享年四十三歲。
