Анатолию было 9 лет, когда умер отец. Мать, Екатерина Харитоновна, работала швеей-мотористкой. Был старшим мужчиной в доме, воспитывал младшего брата Юрия.
Тарасовы жили недалеко от строящегося спортивного комплекса «Динамо», и братья записались в спортивную хоккейную школу «Юный динамовец». Обладая честолюбивым характером, Анатолий быстро стал лидером и капитаном юношеской команды «Динамо» по хоккею с мячом, затем сборной Москвы.
В 1937 году Анатолий Тарасов поступил учиться в Высшую школу тренеров при Московском институте физкультуры. При этом пытался сразу же претворить в жизнь полученные знания.
До войны играл в футбол, был игроком атаки. В 1939 году занял последнее место в группе «А» в…
составе одесского «Динамо», в 1940 году — 6-е место с ЦДКА, чемпионат 1941 года, где он играл за ККА, доигран не был.
Во время Великой Отечественной войны — капитан, затем майор, по выходе в запас в 1945 — старший майор внутренних войск.
В 1945 году был рекомендован армейским футбольным тренером Б. Аркадьевым в наставники в спортивный клуб Военно-воздушных сил Московского военного округа ВВС МВО. Так Анатолий Тарасов стал тренером армейских команд одновременно и по хоккею с шайбой, и по футболу. При этом одновременно был и игроком команды.
В 1947 году Тарасов как тренер на несколько месяцев возглавил московский ФК ВВС, уже без него команда заняла последнее место в первой группе чемпионата СССР.
Также в 1947 назначен играющим тренером ЦДКА. Был также и игроком команды до 1953 года. Вместе с клубом стал чемпионом СССР по хоккею с шайбой в 1948—1950 гг. Провел 100 матчей, забросил 106 шайб.
В 1950 году в семье случилась трагедия — родной брат Юрий погиб в авиакатастрофе в Свердловске.
Закончив играть, продолжал оставаться старшим тренером ЦДКА, ЦДСА, ЦСК МО, ЦСКА (вплоть по 1974 год с небольшими перерывами в январе-ноябре 1961 года и июне-ноябре 1970 года). На этом посту выиграл звания:
чемпиона СССР 1948—1950, 1955—1956, 1958—1960, 1963—1966, 1968, 1970—1973;
Второго призёра чемпионатов СССР 1952—1954, 1957, 1967, 1969 и 1974,
Третьего призёра чемпионата СССР 1962.
Обладателя Кубка СССР 1954—1956, 1966—1969, 1973;
Финалиста розыгрыша Кубка СССР 1953.
В 1958—1960 — старший тренер сборной СССР по хоккею с шайбой. В 1961—1972 — тренер сборной СССР (старший тренер — Аркадий Иванович Чернышёв).
Под руководством Тарасова, как старшего тренера, сборная СССР становилась:
третьим призером ЗОИ(ЧМ) 1960
вторым призером ЧМ 1958,1959
чемпионом Европы 1958-60
В качестве тренера сборной СССР А. В. Тарасов привел сборную команду СССР по хоккею с шайбой к званию чемпиона:
Зимних Олимпийских игр 1964,1968,1972
Чемпионатов мира по хоккею с шайбой 1963—1971
Чемпионатов Европы по хоккею 1963—1970
В 1975 году, уже будучи прославленным хоккейным специалистом, принял футбольный ЦСКА, с которым занял 13-е место в Высшей лиге, после чего был уволен.
Анатолий Тарасов основал юношеский турнир «Золотая шайба».
В 1974 году введен в Зал хоккейной славы в Торонто. В 1997 году в числе первых введен в Зал хоккейной славы Международной федерации хоккея (IIHF).
Лауреат международной премии Уэйна Гретцки, вручаемой Залом хоккейной славы НХЛ людям, которые внесли выдающийся вклад в развитие хоккея.
Именем Тарасова назван один из дивизионов Континентальной хоккейной лиги.
Кавалер орденов Трудового Красного Знамени (1957, 1972), орденов «Знак Почета» (1965, 1968).
Похоронен на Ваганьковском кладбище.
