1928年4月，國民黨開始第二次“北伐”。蔣介石所率北伐軍節節勝利，很快就攻入了山東。日本駐濟武官酒井隆為了封锁北伐軍繼續北進，他立即以“山東局勢混亂、保護日本僑民利益”為藉口，寫信給日本陸軍參謀總長，要求軍部出兵山東。日軍參謀本部根據酒井隆的報告和請求，藉口保護僑民，於4月下旬，派遣日軍第六師團五千餘人從青島登入，入侵山東。日軍第六師團在青島成功登陸後，星夜兼程，終於在4月底趕到濟南城外。
4月21日，日本軍國主義者借保護僑民之名，派遣駐天津的3個步兵中隊抵濟南。25日至27日，日軍又連續在青島登入，沿膠濟鐵路運兵濟南市，到28日，駐濟日軍已達3000餘人。日軍在濟南商埠以緯四路為中心線，劃為東西兩個“警備區”，構築工事，架設路障，實施戒嚴。
4月30日，北伐軍迫近濟南郊區，奉系軍閥張宗昌及其所部渡河北逃。5月1日，北伐軍進入濟南，方振武被任命為濟南衛戍司令。當蔣介石所率北伐軍開進濟南城後，酒井隆即唆使早已做好準備的日軍四處尋釁。日軍隨意捕捉北伐軍的阿兵哥。5月2日上午，第一軍第二十三團營長阮濟民等數人徒手行經緯五路時，被日軍堵截後當場全部殺害。蔣介石命令北伐軍各部“約束阿兵哥，不准開槍還擊”。而且準備“繞道北伐”，這更加助長了日軍的囂張氣焰。
日軍蓄意挑釁，與北伐軍發生衝突。5月3日上午9時，北伐軍文宣員做街頭文宣時，被日軍開槍射擊，當場打死打傷多人。日本軍隊向靠其駐紮的國民黨第四十軍第三師第七團的兩個營發動攻擊，突遭襲擊，使兩個營完全喪失抵抗能力，損失慘重。日軍强行佔領郵電局、電報局等關鍵部門，炸毀電臺，大肆屠殺中國阿兵哥及市民，日軍所到之處，凡遇中國人，不分男女老幼，不論是兵是民，一律開槍射擊。日軍還隨意闖入民宅，强奸婦女，抓走並殺害居民。日軍又開炮轟炸商埠，房屋被炸裂焚燒，一時槍炮聲四起，馬路上血肉橫飛、屍體滿街。槍炮聲、呻吟聲、哭喊聲響成一片。
5月3日，日軍還將國民黨交涉署包圍，强行收繳交涉署槍械。晚9時，又將戰地政務委員會外交處主任兼特派山東交涉員蔡公時及署內職員共18人捆綁起來毒打。蔡公時據理向日軍提出抗議，怒斥日軍暴行，竟被日軍殘無人道地將其耳鼻割去，繼又挖去舌頭眼睛。然後將18人剝光衣服，鞭打後用機槍掃射，除一人僥倖逃出外，蔡公時等17人慘遭殺害。從5月3日夜開始，日軍大舉出動以蒐索北伐軍和便衣隊為名，沿街洗劫，瘋狂屠殺中國軍民。
5月4日晨，北伐軍在濟南城抓獲13名走私鴉片的日本毒販，按照中國法律將他們處死。酒井隆借機再次給陸軍省和參謀本部拍電報，誇大事實，宣稱日本無辜僑民被殺害，並將數目擴大了20多倍。國民黨軍全部撤出商埠區。日軍得寸進尺，繼續擴大事態，不斷增兵濟南。5月5日，除李延年、鄧殷藩兩團留守濟南外，其餘國民黨軍隊全部撤出濟南。
5月7日，日方向蔣介石發出最後通碟：（一）懲辦華方反日高級將領；（二）立即解除濟南方面華軍的全部武裝；（三）維護中日親善邦交，禁止華方反日、排日及有傷兩國睦誼的一切宣傳活動；（四）膠濟鐵路沿線兩側與濟南城關商埠在20華里以內，不准中國軍隊駐紮；（五）立即將辛莊、張莊兵營全部讓出，作為緩衝，便於嚴密監視華軍行動，並觀察華方有無和平誠意。
5月8日，不待國民黨的正式答覆，日軍開始向蔣軍進攻。9日，對濟南城發動了總攻。日軍以猛烈的炮火轟炸南圩子門、杆石橋、林祥門、普利門等各地。當夜，國民黨守軍不得不退入城內，日軍跟踪前進，並在順河街、西城根各街放火，特別是西城根的一條街，房屋全被焚燒。這條街上的居民被燒死、被强奸投河自殺的，無一倖存。事後，濟南人民為紀念國恥，抗議帝國主義的侵略罪行，1929年5月，這條街改名為“五三街”。
在“五三慘案”中，日本侵略軍喪盡天良，瘋狂殘殺我國軍民，其罪行累累，罄竹難書。5月7日，商埠六大馬路東口李子清家，有百餘名難民在內避難，11時，一隊日軍沖進大門，用刺刀刺殺13人，將屍體運走。5月10日，角樓趙家莊，日軍挨戶搜查，見青年或穿草鞋者，不是刺死就是槍斃。遇難者有李明海，崔姓兄弟2人，13歲兒童王小子等，還有22人被日軍活埋。5月11日，西關江家池陸軍醫院內收容蔣軍傷患、病號約百餘人，日軍進入，挨屋殺人，醫生、護士均被刺死，每人身上致少被刺l0刀，共殺死82人。
同日，西關東流水一家共18人藏在家中，被日軍搜出，一同拉出全部刺死，血從家裡雨溝流出，一直流到河裡。在菜市北門裏有4名中國員警，被日本人捉住，用鐵絲捆住，用刺刀滿身亂刺，至全身有百餘刀痕。
從5月8日到10日，城裡的國民黨守軍頑強抵抗，戰鬥相持三晝夜。11日，國民黨守軍奉命放弃濟南。李延年、鄧殷藩的兩個團分別由老東門、新東門退出，向仲宮山地轉移。日軍對突圍部隊進行圍攻襲擊，李延年團排長楊冠英率全排阿兵哥為掩護部隊突圍，與日軍展開白刃戰，重創日軍，終因寡不敵眾而全部壯烈殉國。日軍正式佔領濟南。
日軍佔領內城後，搶劫財物，焚毀建築，强奸婦女，槍殺戰俘，屠戮百姓，罪惡令人髮指。據不完全統計軍民死傷總數達六千餘人，財產損失不計其數。直到1929年5月，日軍才在內外壓力下撤離濟南。這是日本帝國主義對中國人民欠下的一筆血債。
“五三慘案”的發生暴露了日本帝國主義蓄謀已久的侵華野心，它使濟南人民蒙受了巨大的痛苦和災難。今天，“五三慘案”雖已過去了86年，但是這沉重的歷史印記卻永遠銘刻在我們心裡。近年來，日本的一些右翼勢力和政客在對待侵華戰爭歷史問題上文過飾非，含糊其詞，極力為日本軍國主義的侵略罪行進行辯解和遮掩，他們矢口否認過去那慘絕人寰的侵略罪行，這是全世界人民所决不容忍的。日本侵略者野蠻、殘暴地屠殺中國人民，其罪行累累，鐵證如山。“五三慘案”就是以它血和淚的控訴，對日本侵略者的最有力的見證之一。我們决不允許否認和歪曲侵略歷史，决不允許軍國主義捲土重來，我們要世世代代都要牢記這段歷史，牢記這悲慘的教訓，决不能讓歷史的悲劇重演。
濟南市政府自1999年起，在每年的5月3日上午10時至10時30分，都要在市區內鳴響防空警報，以寄託人們對死難同胞的哀思，警示國人勿忘國恥。