По имени одной из своих башен позднее он был назван дворцом Рикарди. Это здание, олицетворяющее силу дома Медичи, было провокацией в глазах соперничающих с ним фамилий. Здесь каждый камень, казалось, свидетельствовал о притязаниях семьи Медичи. Альбицци во весь голос кричали, что Козимо желает захватить власть и позволяет себе иметь почти королевские привилегии; доказательство тому этот вызывающий дворец. Он и сейчас стоит величаво, не замечая проходящего времени.
Разногласия между Медичи и Альбицци становились все более глубокими. Они касались абсолютно всех вопросов городского управления и международной политики. Во время противостояния с Луккой они стали явными. В 1342 году Лукка решила порвать связи с Флоренцией и перейти под власть Пизы, имеющей выход к морю. Козимо настаивал на покорении Лукки – противники Медичи выступали против. Республика, как всегда в подобных случаях, обратилась за военной помощью к иностранцам. Капитаном Флоренции и ее пожизненным протектором был избран француз Готье де Бриенн. Мазо Альбицци в конце концов поддержал планы войны.
Де Бриенн не сумел одержать победы, флорентийские войска понесли поражение. Несмотря на позор, французский авантюрист попытался уничтожить республиканское правление и создать для себя наследственное герцогство. Только всенародное возмущение вынудило его бежать из Флоренции.
Старая вражда Медичи с высокомерными Альбицци подпитывалась новыми дровишками. Те считали, что неизвестно откуда возникшие слухи о том, что они присвоили общественные деньги, в результате чего флорентийцев разгромили под стенами Лукки, злонамеренно распространяются их противниками. И может быть, они не сильно заблуждались.
Демократия в городе была, пожалуй, сильнее, чем в других итальянских городах-республиках. Правительству, не сумевшему успешно провести военную кампанию, пришлось уйти в отставку.
После смерти влиятельного и уважаемого Никколо Уччано, всеобщего миротворца, вражда между Медичи и новым главой дома Альбицци, Ринальдо, разгорелась с удвоенной силой. Народ, всегда готовый приветствовать нового героя, поддерживал Альбицци против поднадоевшего Медичи. Город раздирали анархия и борьба фракций. В 1433 году Ринальдо Альбицци одержал победу на выборах в Синьорию.
Козимо, так уповавший на свое влияние, был обвинен в стремлении захватить власть и призван во дворец Синьории для допроса. Близкие убеждали его бежать из города, пока это еще возможно. Однако он, уверенный в своей невиновности, предпочел явиться перед обвинителями и был заключен в палаццо Веккия. Ему инкриминировали подкуп, взяточничество и измену; его сторонников Руччелаи и Альтовити обвинили во взяточничестве.
Козимо поместили в небольшую комнату в дворцовой башне. Узника охранял Федериго Малавольта. Из места своего заключения Козимо видел и слышал все, что происходило на площади, и услышанное ему не нравилось. Опасаясь за свою жизнь, он за четыре дня съел только немного хлеба и не притрагивался
