Конечно, выбор за Вами, можно продолжать укреплять свою беспомощность иллюзией того, что этому человеку бесполезно, что либо объяснять, если он простых вещей не понимает, поэтому нам с ним не по пути, и чтобы не мучиться я закончу очередные, (если с холодной головой подумать, вполне приличные отношения). А можно рискнуть и прямо, доходчиво разъяснить, что Вам подходит, а что нет и уже после этого делать вывод об адекватности человека и его заинтересованности в Вас.
В решении сказать плюсов точно больше, во первых Вы позаботитесь о себе. Во вторых поможете другому выстраивать комфортный контакт с Вами. В третьих открыто дадите понять, что чётко знаете, где начинаются Ваши границы и заканчиваются границы другого, что всегда вызывает уважение и понимание.