白山历史悠久，是满族的发源地之一，这里自古以来就是各种游牧民族的活动地区，历史上很长一段时间属于高句丽管辖。
元朝时，白山属辽阳行中书省沈阳路辖地。明属奴儿干都司建州卫。公元1591年（神宗 万历十九年）为努尔哈赤所并。1902年，清政府置临江县于猫耳山，属吉林副都统辖区兴京厅。1907年，改属奉天省，仍隶兴京厅。
民国二年（1913年），白山属奉天省东路道。1934年，日伪占领时期，改属伪安东省。1937年划归伪通化省。
1945年解放战争胜利后，白山划归安东省通化专署。1946年划归辽宁省。1949年改属辽东省。1954年8月，划归吉林省。1959年3月，撤消临江县，设立浑江市（县级），属通化地区。1985年3月，浑江市升格为地级市，设立八道江、临江、三岔子3个市辖区，并辖抚松、靖宇、长白3县。1994年4月，浑江市更名为白山市，市政府驻八道江区。2010年5月，八道江区更名为浑江区。
白山是杨靖宇将军殉国地，靖宇县有杨靖宇将军陵园。
白山市地处长白山腹地，境内山峰林立，沟谷交错，河流纵横。长白熔岩台地和靖宇熔岩台地覆盖境内大部分地区，龙岗山脉和老岭山脉斜贯全境。鸭绿江沿岸地形起伏较大，沟谷切割较深，地势较险峻。境内最高点长白山主峰白云峰海拔2691米，为东北地区最高峰；最低点靖宇县的批州口子，海拔279.3米。主要河流有鸭绿江、头道松花江、二道松花江、浑江等。
白山市是一个多少数民族地区，满族和朝鲜族人口最多，有满族、回族、朝鲜族、蒙古族、壮族、锡伯族等37个少数民族。有全国唯一的朝鲜族自治县——长白朝鲜族自治县。