Родился в рабочем посёлке Воронцовского медного рудника Турьинской волости Верхотурского уезда Пермской губернии.
В армии с июля 1929 года. В июне 1930 года окончил Вольскую объединённую теоретическую школу лётчиков и авиатехников, в декабре 1931 года – Оренбургскую военную авиационную школу лётчиков и летнабов. Служил в ВВС старшим лётчиком и командиром звена 1-й истребительной авиаэскадрильи.
В октябре 1935 – мае 1936 обучался в Военно-воздушной академии имени Н.Е.Жуковского.
В мае 1936 – мае 1937 – лётчик-испытатель Научно-испытательного института ВВС.
Участник Гражданской войны в Испании: в июне 1937 – январе 1938 – командир звена и командир истребительной авиагруппы. В июле 1937 года вместе с М.Н.Якушиным впервые в истории отечественной авиации провёл ночные воздушные бои.
Выполнил более 150 боевых вылетов на истребителе И-15, в 38 воздушных боях лично сбил 8 самолётов противника (из них 1 – ночью).
За образцовое выполнение специальных заданий Правительства по укреплению оборонной мощи Советского Союза и за проявленный в этом деле героизм Указом Президиума Верховного Совета СССР от 2 марта 1938 года полковнику Серову Анатолию Константиновичу присвоено звание Героя Советского Союза с вручением ордена Ленина.
С мая 1938 – начальник Главной лётной инспекции ВВС.
Погиб 11 мая 1939 года на самолёте УТИ-4 при выполнении учебно-тренировочного полёта (с Героем Советского Союза П.Д.Осипенко).