Первый герб Мариуполя был принят 2 августа 1811 года. Щит разделён горизонтально на две равные части. Сверху голубое поле, снизу — чёрное. В чёрном поле серебряный полумесяц рогами вниз, на котором в синем поле стоит восьмиконечный золотой крест. Полумесяц и крест символизируют переход исламских земель под власть Российской империи и переселение христиан из Крыма.
Гербовое отделение при Департаменте геральдики под руководством Бернгарда Васильевича Кёне проводило масштабную работу по унификации гербов русских городов. В рамках этой работы была создана новая версия герба Мариуполя. В вольной части — герб Екатеринославской губернии.
В 1970 году для города Мариуполя разработан проект герба, который был утверждён постановлением № 390 исполкома Мариупольского городского совета от 2.09. 1970: «Щит прямоугольной формы пересечённый на два поля, верхнее — красное, нижнее — голубое. В красном поле ковш, ниже — полушестерня, которая опирается срезами на волнистую линию моря. Снизу щит оканчивается изображением якоря.» Автор этого варианта герба — Е. Иванов.
Современный вариант герба использует композиционные принципы и цвета герба 1811 года. Щит разделён горизонтально на две равные части. Сверху поле серебряного цвета, снизу — синее. Линия разделяющая поля волнистая. Синий цвет и волнистая линия символизируют море, так как Мариуполь портовый город. Серебряное поле символизирует производство стали. В центре герба изображён якорь — символ портового города. Причём, сам якорь состоит из ковша (кольцо якоря), выливающего металл по контуру и цифр 1778 — года основания города.
