Родился 21 июня 1865 года в Москве. Сын инженера-путейца И. Ф. Рерберга, брат инженера и архитектора И. И. Рерберга. В 1881 году брал частные уроки рисования у В. С. Розанова. В 1885—1892 годах учился в Императорской Академии художеств сначала на архитектурном, затем — на живописном отделении у П. П. Чистякова, П. М. Шамшина, Б. П. Виллевальде, К. Б. Венига, В. П. Верещагина, В. И. Якоби. Пользовался советами И. Е. Репина. В 1886 и 1887 годах за рисунок и этюд награждался серебряными медалями. В 1888 году окончил курс наук. В 1892 году получил звание неклассного (свободного) художника. Жил в Москве, много путешествовал. Совершил поездки на Кавказ, в Крым, по Волге, в Германию, Австрию, Францию, Италию. Занимался преподавательской деятельностью. С 1891 года давал частные уроки, в 1906 открыл частное училище, где, помимо занятий по рисунку и живописи, читал лекции по истории искусства; преподавал в нем до 1931 года (в 1929 году Училище Ф. И. Рерберга было преобразовано в Государственные курсы живописи и рисунка Бауманского отдела Народного образования). Преподавал в техникуме ОГИЗа (Объединение государственных книжно-журнальных издательств), Московском текстильном институте, на Курсах академического рисунка «Всекохудожника» (1930-е годы); профессор. В 1917—1918 годах работал в Комиссии по охране памятников искусства и старины при Моссовете, состоял членом Художественного совета Государственного Исторического музея. Участвовал в организации 1-го Пролетарского музея (1918); заведовал художественной частью Музея труда (с 1920). С 1927 года состоял консультантом завода художественных красок «Красный художник». Умер в 1938 году.