В XIX веке на месте города не было ничего. Существует легенда, что в 1833 году мальчик-пастух Аппак Байжанов нашёл уголь. В конце XIX века началась добыча угля сначала русскими купцами, затем французскими и английскими предпринимателями. На рудниках работали жители посёлков Большая Михайловка, Тихоновка, Зелёная балка и Новоузенка.
В 1930 году была возобновлена активная добыча угля и началось строительство временных жилищ типа глинобитных полуземлянок для сосланых (раскулаченных) граждан СССР и их семей. Затем были построены посёлки Майкудук, Новая Тихоновка и Пришахтинский, в которых поселилась основная масса вновь прибывших рабочих и специалистов. Значительно выросло население и в старых посёлках.
20 марта 1931 года КазЦИК постановил образовать Карагандинский рабочий Совет с самостоятельным бюджетом с непосредственным подчинением КазЦИКу. Его центр находился в селе Большая Михайловка, вошедшем позднее в состав города. В 1931 году шахтёрское поселение Караганда преобразовано в рабочий посёлок.
10 февраля 1934 года Президиум ВЦИК постановил «1. Преобразовать в города нижеследующие населенные пункты Казакской АССР: б) в Тельманском районе, Карагандинской области, возникший на территории строительства государственного треста по эксплуатации Карагандинского каменноугольного бассейна населенный пункт, присвоив ему название Караганда»[7].
С началом Великой Отечественной войны тысячи карагандинцев ушли на фронт.
В 1950-х в городе произошли две катастрофы — крушение самолёта Ил-12 и взрыв на заводе 4-Д.
В 1974 году 66 предприятий и организаций, в том числе 3 разреза и 26 шахт, объединились в ПО «Карагандауголь».
Распад СССР сильно сказался на шахтёрской столице Казахстана, — 1990-е годы для Караганды оказались самыми трудными в ХХ столетии после революционных 20-х и военных 40-х. Бо́льшая часть предприятий угольной и обслуживающей её промышленности сократила или остановила производство. Некогда называемая третьей кочегаркой страны, Караганда, на начало XXI века добывает лишь малую часть того угля, что добывалось при СССР.