Через некоторое время камергер его величества, видимо, начал осознавать, что его действия с точки зрения раздраженного сановника, может быть, и оправданны, но для человека, которому поручено ответственное дипломатическое поручение, не слишком уместны. Он направил Хвостову новое письмо, в котором приказывал ограничиться разведкой японских территорий. Отказ от «военного вояжа» он весьма расплывчато объяснял тем, что путина уже закончилась, значит, японцы перебрались на большие острова и ожидаемого эффекта достигнуто не будет.
Лейтенант Хвостов, хоть и был «нраву буйного», все же понимал, что начальство отдает какие-то «неординарные» приказы, к тому же противоречащие друг другу и весьма туманные. Он рванулся в Охотск, чтобы получить у Резанова разъяснения. Но тот уже выехал в Петербург. Такие вот гримасы истории: отношения между двумя соседними странами оказались испорченными на долгие годы не из-за каких-то высших политических соображений, а потому что один лейтенант не застал своего начальника. Тот же, в свою очередь, оказался слаб здоровьем – по дороге в столицу Резанов заболел и скончался 1 марта 1807 г. в Красноярске.
Не встретившись в Резановым и не получив от него четких инструкций, Хвостов решил действовать по первоначальному плану. 6 октября 1806 г. фрегат «Юнона» под его командованием появился в заливе Анива на Сахалине. Высадившись на берег, русские моряки разгромили несколько японских факторий, сожгли склады, сети и лодки, взяли в плен нескольких японцев.
Весной следующего года Хвостов решил «закрепить успех». На «Юноне», теперь уже в сопровождении тендера «Авось» под командованием мичмана Гавриила Давыдова, он «прошелся» по японским селениям Найбо и Сяна на Итурупе, вернулся в залив Анива, где сжег оставшиеся поселения японцев, а затем у северо-западной оконечности Хоккайдо сжег четыре японских судна. Войдя во вкус, лейтенант, взяв на себя роль «вершителя государственных дел», отпустил возле острова Рисири восьмерых пленных японцев и передал через них ультиматум японскому правительству следующего содержания: «Соседство России с Япониею заставило желать дружеских связей к истинному благополучию сей последней империи, для чего и было отправлено посольство в Нагасаки; но отказ оному, оскорбительный для России, и распространение торговли японцев по Курильским островам и Сахалину, яко владения Российской империи, принудило сию державу употребить наконец другие меры, кои покажут, что россияне всегда могут чинить вред японской торговле до тех пор, как не будут извещены чрез жителей Урупа или Сахалина о желании торговли с нами. Россияне, причинив ныне столь малый вред японской империи, хотели им показать только чрез то, что северныя страны оной всегда могут быть вредимы от них, и что дальнейшее упрямство японского правительства может совсем лишить его сих земель».
Правда, на родине старания Хвостова и Давыдова не оценили. 16 июля 1807 г., по возвращении в Охотск, они были арестованы и отправлены под конвоем в Санкт-Петербург.
