Первая математическая олимпиада состоялась в 1884 году в Австро-Венгрии.

Первой математической олимпиадой, в которой приняли участие несколько областей РСФСР, стала проводившаяся в Москве олимпиада 1960 года. Её иногда называют «нулевой» Всероссийской математической олимпиадой школьников. Официальная нумерация началась с 1961 года. На первую Всероссийскую математическую олимпиаду приехали команды почти всех областей РСФСР. Также были приглашены команды союзных республик. Фактически эти олимпиады стали Всесоюзными, ведь в них принимали участие победители республиканских олимпиад. С 1967 года эти олимпиады получили статус Всесоюзных, а Всероссийские олимпиады на время прекратились.

Возрождение Всероссийской олимпиада школьников по математике организационно началось в 1974 году, когда по инициативе Министерства просвещения РСФСР, Министерства высшего образования РСФСР, общества «Знание» РСФСР и Центрального комитета ВЛКСМ был создан Центральный оргкомитет Всероссийской физико-математической и химической олимпиады школьников.

Центральным оргкомитетом и методическими комиссиями были разработаны структура, задачи и цели олимпиады, которые в основном остаются неизменными и по настоящее время. Территория Российской Федерации была разделена на четыре зоны: Северо-Западную, Центральную, Юго-Западную и Сибири и Дальнего Востока. Отдельно были выделены города Москва и Ленинград

Особый статус Москвы и Ленинграда (ныне Санкт-Петербург) сохранялся до 2007 года.

С 2008 года отменён федеральный окружной (бывший зональный) этап, так что теперь олимпиада проводится в 4 этапа (школьный, муниципальный, региональный и заключительный).