Лишь с февраля 1899 по февраль 1900 г. занимал должность начальника части по изданию уставов и положений об образовательных учреждениях при Генеральном штабе. Полковник, он не имеет полноценного опыта командования ни ротой, ни батальоном, а для дальнейшего продвижения по службе ему необходимо получить полк. Его амбиции не удовлетворены, а ощущение несправедливости лишь сильнее портит его характер и без того желчный и неуживчивый. Необходимо отметить, что сам он пишет, что за 36 лет службы лишь три его начальника были «благородные люди». Сложно сказать, что Анатолий Николаевич подразумевал под этими словами, но его непростые взаимоотношения с начальством однозначно были причиной карьерных трудностей. Только 3 февраля 1903 г., почти через восемь лет после присвоения полковничьего чина, Розеншильд получает свой полк – 7-й стрелковый полк 2-й стрелковой бригады. Это назначение явно не радует его – стрелковые части в то время считались частями второго сорта, считалось, что они пригодны лишь для борьбы с иррегулярными формированиями – китайцами, горцами, бандитами, переподготовки запасников, обучения пополнения. Тем не менее именно во главе этого полка Анатолию Николаевичу предстояло проявить себя на промерзших полях Маньчжурии. Летом 1904 г. его полк был отмобилизован, приведен в четырехбатальонный (в мирное время стрелковые полки состояли из двух батальонов) состав военного времени и в составе своей бригады был отправлен на театр военных действий. Бригада находилась в резерве 2-й армии вплоть до 13 января 1905 г., когда была привлечена к атаке селения Сандепу, до этого уже неудачно атакованного подразделениями 14-й пехотной дивизии. Новая атака деревни обернулась ничем и стоила 7-му стрелковому полку большой крови, однако в ходе боя Розеншильд продемонстрировал такие важные для полкового командира качества, как решительность, твердость и стойкость, впоследствии еще ярче проявившиеся в годы Первой мировой. За это дело Розеншильд был награжден орденом Святого Владимира 4-й степени с мечами и бантом. Вскоре стрелкам Розеншильда выдался еще один случай подтвердить свою боевую репутацию. В ходе Мукденского сражения 21 февраля 7-й стрелковый полк занял оборону в деревне Сятхзы на северном фланге русских армий, подвергавшегося постоянным атакам японцев. Стрелки удерживали деревню три дня, отбивая приступ за приступом. Сам Розеншильд в этом бою был контужен, однако продолжал руководить своими солдатами. За эти отважные действия в июне 1905 г. ему было пожаловано звание генерал-майора, не по старшинству, а «за боевые отличия», а также золотое оружие «За храбрость».
После краткого командования 2-й бригадой 10-й Восточно-Сибирской стрелковой дивизии в ноябре 1905 г. Розеншильд принял командование лейб-гвардии 1-м стрелковым Его Величества батальоном, а в 1906 г. причислен к Свите Его Величества. Тень стрелковых частей словно витает над Розеншильдом, ибо даже в гвардии он служит в условно второсортных частях. Стоит отметить, что «второсортность» стрелковых частей была мнимой, во всех