Какой минимальный набор понятий и концепций статистики стоит освоить для решения прикладных задач?

Андрей кое-что перечислил, но это далеко не полный перечень.

Чаще всего для каждой задачи нужен свой набор инструментов. И надо понять, что именно для собранных данных использовать. Лучше это решить перед сбором данных. Если есть возможность, собирать материал, исходя из решения задачи. Например, в медицинских экспериментах часто количество данных ограничено (пациентов не хватает). Тогда перед обработкой данных нужно разобраться, а какая минимальная группа даст статистически значимый ответ. Для этого есть свои методы расчёта.

Часто данные следует проверить на нормальность распределения. Если хватит выборки, конечно. Гораздо чаще, чем хотелось бы, распределение подчиняется лог-нормальному закону и тогда такие критерии, как математическое ожидание или стандартное отклонение уже использовать нельзя. Да и многое, что используют не глядя - тоже.

Например, метод наименьших квадратов. Если распределение не нормальное, то тогда надо использовать непараметрические критерии.

Если данных очень много и они содержат разные параметры, то без факторного анализа не обойтись.

Инструментов в статистике так много, что их не перечислить, даже не выбрать самые-самые. Лучше иметь под рукой программу, типа Statistica, уметь ей пользоваться и выбирать тот метод обработки результатов, который подходит.