Как использовать lambda вместе с методом count? Например, если я хочу посчитать количество буквенных символов в строке?

Хитрость лямбда-функций в питоне в том, что для их описания мы можем использовать только одно выражение. Иными словами, ваше выражение может быть сколь угодно сложным, но его должно быть возможно передать в функцию одним аргументом.

Это провоцирует писать код в декларативном стиле. Вот как можно написать выражение, считающее количество букв в переданной строке:

import re
count_letters = lambda str: len(re.findall(r'[А-Яа-я]', str))

print(count_letters('Абв 123 деж')) # 6

count() же это метод списка или строки, который ищет количество вхождений. Он принимает не предикат, а только конкретное значение, поэтому использование его тяготеет к императивному стилю: сначала сформировать список нужных букв, потом перебирать их по текущей строке, потом сложить получившиеся результаты — что в данном случае не есть оптимальный путь решения задачи.

В общем же случае (не применительно к данной задаче) вызов метода count() внутри лямбда-функции происходит так же, как и вызов любого другого метода:

count_bananas = lambda list: list.count('banana')

print(count_bananas(['banana', 'banana', 'apple'])) # 2