Исходя из своего опыта (применение статистики для решения биомедицинских задач), я бы сформулировал следующий минимум концепций:
1) Основы описательной статистики (среднее, медиана, дисперсия и. т. д.)
2) Нормальное распредление
3) Понятие о корреляции (и еë отличие от зависимости)
4) Понятие о нулевой и альтернативной гипотезах
5) Проверка гипотез с помощью вычисления p-value
6) Множественные сравнения и типы поправок на них
Есть курс на stepik "Основы статистики" от института биоинформатики. Там есть всё, что перечислил Андрей и объясняется довольно понятно. Как вариант для изучения.
Согласна с ответом
*Хтонический ужас из морских глубин пробуждается, услышав слово Statistica*
- R лучше!
*Засыпает обратно*