本行的歷史可以追溯到1954年，成立時的名稱是中國人民建設銀行，當時是財政部下屬的一家國有獨資銀行，負責管理和分配根據國家經濟計劃撥給建設項目和基礎建設相關項目的政府資金。1979 年，中國人民建設銀行成為一家國務院直屬的金融機構，並逐漸承擔了更多商業銀行的職能。

隨著國家開發銀行在1994 年成立，承接了中國人民建設銀行的政策性貸款職能，中國人民建設銀行逐漸成為一家綜合性的商業銀行。1996 年，中國人民建設銀行更名為中國建設銀行。

本行由本行前身中國建設銀行根據中國公司法規定的分立程式于2004 年9 月成立。在銀監會于2004 年9月14 日批准之後，本行、中國建投與匯金公司于2004 年9 月15 日簽署分立協議，根據此份協議，中國建設銀行分立為本行和中國建投。本行于2004年9月17日成立為一家股份制商業銀行。

2005年10月27日本行Ｈ股在香港聯合交易所掛牌上市（股票代碼為939），2007年9月25本行Ａ股在上海證券交易所掛牌上市（股票代碼為601939）。