Водки и вина не пил вовсе. Костенецкий, несмотря на свой миролюбивый характер, боялся мщения и предполагал, что его когда-нибудь да отравят. Чтобы предупредить такую опасность, он хотел приучить себя не бояться никакой отравы, и для этого он носил всегда в кармане кусок мышьяку, который ежедневно поутру лизал языком по несколько раз, каждый день постепенно увеличивая количество лизаний, и таким способом довел себя до того, что уже довольно значительный прием мышьяка, который был бы смертельным для всякого другого человека, на него не производил никакого вредного действия. Он производил преоригинальные учения. Рано на заре он приказывал находившемуся при нем трубачу трубить тревогу, указывал куда скакать батарее, а сам, вскочив на коня, скакал туда во весь опор и, прискакав на место, в поле долой с коня – и голый катался по траве и росе. Это была его суворовская утренняя ванна. Между тем, батарея по тревоге летела туда же во весь опор и находила уже К-го выкатавшимся на росе, одетым и на коне, и тотчас же начиналось ученье все на марш-марше и по-боевому. Вдруг К-ий командует: «№ такой-то ранен!» И этот № должен был слезть с лошади и пешком отойти в сторону, а другой заступить его место. Затем опять команда: «№ такой-то убит!» И убитый должен был упасть на землю и лежать, а другой заступить его место, и подобно тому в этом же роде. Генерал Костенецкий был высокого роста, широк в плечах, стройный и красивый мужчина с самым добрым и приветливым лицом и обладал необыкновенною физическою силою. Характера был доброго, имел нежное сердце, но вспыльчив в высокой степени. Человек он был с сильными страстями, любил женщин, а еще более был любим ими, по никогда не был женат. Он был страстно влюблен в красавицу княжну Р-в и вел себя как влюбленный юноша-прапорщик, давая пищу насмешкам всего лагеря под Красным Селом. Генерал служил в артиллерии, знал превосходно свое дело и был в полном смысле военным. Много ходило в то время рассказов о его необыкновенной физической силе; он разгибал подковы, сгибал серебряные рубли. Однажды, в Киеве в одном обществе дамы, желая подшутить над ним, поднесли ему на тарелке очень искусно сделанную каменную грушу и просили его скушать. Костенецкий, заметя обман, взял грушу в руку и, как бы нечаянно раздавивши ее, воскликнул – ах! – какая она мягкая.
Один из случаев его жизни рассказан Михайловским-Данилевским. В одном из сражений с французами в 1809 году, когда на батарею, которою он командовал, бросились польские уланы, перебили всю прислугу и, разумеется, взяли бы батарею, Костенецкий, схвативши банник, начал валять им направо и налево, многих перебил, а других прогнал. Когда император Александр Павлович благодарил его за такой подвиг, он сказал государю, что надобно бы ввести в артиллерию вместо деревянных железные банники. Государь возразил ему: «Мне нетрудно сделать это, но где найти таких Костенецких, которые могли бы владеть ими!» Генерал Костенецкий носил в обществе кличку всеславянского генерала и был известен шутками вроде таких: cabinet (как бы нет), domestique (дом мести) и т. д. Этими корнесловами