儘管約翰二世曾獲得過許多次戰鬥的勝利，但他的軍事戰略卻是依靠佔領並控制各居住點的防禦工事來構築穩固的邊界防禦。約翰二世統治時期大約組織了25場圍攻戰。
與威尼斯的衝突
約翰二世繼位後，他就拒絕承認其父於1082年與威尼斯共和國簽訂的條約，該條約慷慨地給予了意大利城邦在拜占庭帝國內獨一無二的貿易特權。然而政策的轉變並非是緣於經濟方面考量。正當拜占庭尤其依賴於威尼斯的海軍援助時，一個涉及威尼斯人辱罵帝國皇室成員的事件導致了衝突的爆發。拜占庭報復性地進攻了科孚島之後，約翰又流放了在君士坦丁堡的威尼斯商人。但這卻得到了更進一步的反擊，一支由七十二艘船組成的威尼斯艦隊洗劫了羅德島、希俄斯島、薩姆斯島、萊斯博斯島並佔領了愛奧尼亞海的凱法利尼亞島。最終約翰被迫妥協;戰爭對他來說已成賠本買賣，並且他也不打算挪用陸軍軍費去爲海軍建造新艦隻。約翰重新承認了1082年的條約。雖然如此，這次窘境卻沒有被帝國完全遺忘，並且它激勵着約翰二世的繼任者曼努埃爾一世數年後去重新建立一支強大的拜占庭艦隊。
佩切涅格人的毀滅
1119-1121年約翰擊敗塞爾柱突厥人後，他開始將安娜託利亞西南部掌握在自己的控制下。隨後在1122年，約翰又迅速地將他的軍隊運送到歐洲去抵禦已經跨過多瑙河邊境入侵Paristrion地區的切佩涅格人。這些入侵者還得到了基輔大公的輔助。當切佩涅格人突入色雷斯時約翰包圍了他們。爲了騙取他們的信任約翰還提出願意簽訂一份對他們有利的條約，隨即他又組織了一場對切佩涅格人車陣的毀滅性突襲。Beroia戰役戰鬥非常艱難，約翰的腿也被射中了一箭，但最終拜占庭軍隊贏得了一場慘重的勝利。由大量英格蘭人組成的瓦蘭吉衛隊在這次戰役中對突破切佩涅格人的車城起到了決定性的作用，他們使用他們著名的長斧爲部隊開闢了前進的道路。這場戰役也有效地終結了切佩涅格人作爲一個獨立民族的存在;許多戰俘被安置在邊境上成爲帝國的農兵。
與匈牙利和塞爾維亞的戰爭
約翰與匈牙利公主皮羅什卡的婚姻將他捲入了匈牙利王室的鬥爭之中。約翰爲匈牙利王位的潛在繼承人álmos提供庇護的行爲，引起了匈牙利人對他的戒心。之後在史蒂芬二世的率領下匈牙利人於1127年入侵了拜占庭的巴爾幹領土並且將戰事持續到1129年;然而另一種說法是1125年拜占庭反擊了匈牙利的入侵以及次年新一輪戰爭的爆發。塞爾維亞戰役可能發生在對匈牙利戰爭的兩個階段之間。約翰對塞爾維亞組織了一場突襲，並將很多塞爾維亞人集合起來運送到小亞細亞的尼科米底亞作爲軍事移民，此舉是爲了報復他們與匈牙利聯合對抗帝國。這麼做一部分是爲了恐嚇塞爾維亞屈服(至少塞爾維亞在名義上還是拜占庭的保護國)另一部分也是爲了加強帝國在東方邊境抵禦突厥人的力量。於是塞爾維亞又一次承認了拜占庭帝國的宗主權。而匈牙利軍隊進攻了貝爾格萊德、尼什和索菲亞，位於色雷斯菲利普波里斯附近的約翰的軍隊在多瑙河艦隊的支援下隨即展開了反攻;在一個細節並不清楚但十分具有挑戰性的戰役之後，皇帝最終成功在Haram or Chramon堡壘(今Nova Palanka)擊敗了匈牙利和他的塞爾維亞盟友的軍隊;匈牙利人之所以遭受了巨大的傷亡是因爲當他們在過橋時因遭到了拜占庭軍隊的襲擊而潰散。在此之後匈牙利人通過進攻Brani?evo又立即與約翰挑起了新的戰事。除了拜占庭軍隊的勝利之外，Choniates(12世紀的拜占庭編年史作家)還提到了幾個促成和平恢復的條約。匈牙利人承認拜占庭對Brani?evo的控制，貝爾格萊德和瑟烏姆也恢復了自11世紀六十年代以來被匈牙利所侵佔的Sirmium地區(Choniates稱之爲Frangochorion)。兩國之間的嚴重分歧也隨着1127年匈牙利繼承人álmos的去世而消除了。
對安納托利亞突厥人的消耗戰
在約翰統治的早期，突厥人的推進使得帝國在小亞細亞西部的邊境戰事十分的緊迫，他於是決心要將突厥人驅趕回去。1119年，塞爾柱人切斷了安娜託利亞西南海岸城市安塔利亞附近的道路聯繫。約翰二世與約翰·阿克蘇赫收復了老底嘉與索佐波利斯之後，帝國與安塔利亞之間的路上聯繫被重新開通了。這條道路的重要性也體現在打通了與乞裏奇亞和敘利亞十字軍諸國的路上聯繫。
隨着匈牙利戰事的結束，約翰得以將他餘下的大部分時間集中在小亞細亞的局勢中。1130~1135年，他在幼發拉底河上游的馬拉蒂亞開展了一場對抗達尼什曼德酋長國的戰役。在他的大舉進攻之下，突厥人暫停了在小亞細亞擴張的腳步，之後約翰準備主動打擊敵人。爲了將科穆寧家族的發祥地Kastamonu(Kastra Komnenon)重新掌握在帝國的控制之下，約翰緊密謀劃了一系列針對突厥人的戰役;並且在幹革拉城留下了兩千多名衛戍部隊。由於約翰一座接一座的攻克了敵人的據點，他很快就贏得了一個令人敬畏的稱號“破城者”。許多在曼茲柯爾特戰役之後失去的地區都被收復並駐守。然而，在東北方達尼什曼德王朝的強大威脅下，這些難以防守的新佔領區(例如Kastamonu)甚至在約翰還在君士坦丁堡慶祝它光復時就被突厥人重新佔領了。然而在約翰的堅持不懈下，Kastamonu又再一次易手。
1139年春，皇帝與一羣在Sangarios河流域劫掠的突厥人(也有可能是土庫曼牧民)的交戰中取得了勝利，並通過驅散他們牲畜的方式顯著地斷絕了這些人的生活來源。他之後率領軍隊沿着黑海南岸經過比提尼亞和帕夫拉果尼亞行軍來對抗達尼什曼德突厥人。隨着Constantine Gabras在特拉布宗獨立政權的結束，Chaldia所管轄的地區又重新回到了帝國的控制之下。但約翰卻沒能在1140年對新凱撒利亞城的包圍戰中奪取該城。拜占庭軍隊的戰敗更多的原因是天氣而不是與突厥人的戰鬥：當時的天氣非常糟糕，大量的軍馬死亡，糧食也開始短缺。
在乞裏奇亞與敘利亞的戰役
在黎凡特，皇帝再次主張增強帝國對十字軍諸國宗主權並聲稱他在安條克的權利。1137年他從乞裏奇亞亞美尼亞公國手中奪取了塔爾蘇斯、阿達納、摩普綏提亞，奇裏乞亞亞美尼亞國王列翁一世與他的大部分家人都成爲了俘虜被掠到君士坦丁堡，這爲帝國打通了通往安條克公國的路徑。1137年，安條克親王普瓦捷的雷蒙德、埃德薩伯爵喬斯林二世分別向皇帝稱臣。甚至的黎波里伯爵雷蒙德二世也急忙向約翰表示臣服，就如同他的前任在1109年向約翰的父親所做的一樣。這些舉動使約翰接下來能夠領導一直由拜占庭/安條克以及埃德薩組成的聯軍共同對抗敘利亞的穆斯林。儘管阿勒頗因太過強大而不能進攻，但巴拉特、Biza'a、Athereb、馬拉特努曼以及Kafartab等堡壘都被相繼攻取。
儘管約翰爲了基督徒的事業在敘利亞戰場艱難戰鬥，他的盟友安條克親王雷蒙德和埃德薩伯爵喬斯林二世卻在約翰二世圍攻夏薩期間坐在一起玩骰子袖手旁觀。十字軍王公們與約翰之間互不信任，並且沒人希望別人參加戰爭來取得利益。雷蒙德也想保住安條克，因爲他曾承諾：如果約翰成功奪取了阿勒頗、夏薩、霍姆斯以及哈馬，他將把安條克轉交給約翰。拉丁和穆斯林方面的史料描述了圍城中約翰表現出的活力和武勇。這座城市最終被攻陷，但其衛城依然在負隅頑抗。夏薩的埃米爾同意支付一筆鉅額賠款，成爲了約翰的臣屬並支付年貢。約翰此時已經對他的盟友們失去了所有的信心，並且贊吉的軍隊就要馳援這座城市，因此皇帝只好不情願地接受了這個條件。
最後的出征
1142年初，約翰爲確保(在乞裏奇亞的遠征軍與帝國首都)通過安塔利亞的聯繫線而對科尼亞的塞爾柱人發動了戰役。就在這場戰役期間，他的長子共治皇帝阿萊克修斯因熱病而去世。在確保了他的路線之後，約翰爲了收復安條克着手對敘利亞發動了新的遠征。這次遠征約翰還計劃帶着他的軍隊一起去耶路撒冷朝聖。耶路撒冷國王福爾克，因懼怕皇帝的軍事優勢將會迫使他的王國向拜占庭稱臣並承認其宗主權而乞求皇帝只帶適量的護衛前來。福爾克稱他貧瘠的王國無法支持如此一支龐大的軍隊通過。這一溫和的請求致使約翰二世決定推遲他的遠征。約翰迅速來到北敘利亞，強迫喬斯林交出人質(作爲臣服的保證)，其中包括喬斯林的女兒，他之後提出安條克的城市及衛城都將交給皇帝。普瓦捷的雷蒙德爲拖延時間提議由安條克全體大會公投決定。季節的變化也促使約翰決定將他的軍隊率領至乞裏奇亞過冬，隨後在來年重新進攻安條克。
歷史學家約翰·伯肯梅爾最近認爲約翰的統治是科穆寧王朝中最成功的一部分。在《1081-1180年科穆寧王朝軍隊的發展》一書中，他強調正是由於約翰的戰爭注重於圍城戰而不是有風險的對戰。伯肯梅爾認爲約翰每年發動有節制的戰役，實際目標比他兒子曼努埃爾一世明智得多。從這一觀點來看，約翰的戰爭對拜占庭更爲有益，因爲他們保護了缺乏可靠邊境的帝國核心區域，並最終擴展了帝國在小亞細亞的領土。突厥人被迫轉向防禦，同時約翰通過與神聖羅馬帝國皇帝結盟來對抗西西里的諾曼人來保持帝國的外交優勢地位。
大致上，約翰毫無疑問留下了一個比他剛繼位時好得多的帝國。當他去世時已經有大量的領土被光復，並且他使收復安娜託利亞中部以及重建幼發拉底河防線的目標成爲可能。然而，安娜託利亞內陸地區的希臘人卻日益習慣於突厥人的統治並且發現其比拜占庭時期要更好。讓安納托利亞中部的突厥人、塞爾維亞人乃至黎凡特的十字軍國家屈服並承認帝國宗主權相對容易，但如何將這附庸關係轉化爲對帝國安全的堅實保障卻非常棘手。這些問題最終都遺留給了他聰慧機敏的兒子曼努埃爾去試圖解決。
