Есть курс на stepik "Основы статистики" от института биоинформатики. Там есть всё, что перечислил Андрей и объясняется довольно понятно. Как вариант для изучения.
Согласна с ответом
*Хтонический ужас из морских глубин пробуждается, услышав слово Statistica*
- R лучше!
*Засыпает обратно*