# get titanic & test csv files as a DataFrame
titanic_df = pd.read_csv("../input/train.csv")
test_df = pd.read_csv("../input/test.csv")
# preview the data
titanic_df.head()
titanic_df.info()
# drop unnecessary columns, these columns won't be useful in analysis and prediction
titanic_df = titanic_df.drop(['PassengerId','Name','Ticket'], axis=1)
test_df = test_df.drop(['Name','Ticket'], axis=1)Изучение Data Science стоит начать с построения фундамента, а в фундаменте чего только нет, математика, статистика, алгоритмы, языки программирования. Собрал список курсов которые помогут заложить качественный фундамент под изучение DS.
- Линейная регрессия -https://ru.wikipedia.org/wiki/Линейная_регрессия
- Python(лучше последнюю актуальную версию(3+) и особенно детально библиотеки numpy, pandas, sklearn и др.), Jupyter и наборы данных для тренировки, поставить и научится делать notebooks
- Алгоритм перцептрона - https://ru.wikipedia.org/wiki/Перцептрон
- Деревья решений - https://ru.wikipedia.org/wiki/Дерево_решений
- Наивный Байес - https://ru.wikipedia.org/wiki/Наивный_байесовский_классификатор
- Метод опорных векторов - https://ru.wikipedia.org/wiki/Метод_опорных_векторов
- Ансамбль методов - https://ru.wikipedia.org/wiki/Ансамбль_методов_(обучение_машин)
На сегодня основная проблема Data Science - недостаток людей, которые могут её грамотно применить с прибылью для компании.
Поэтому начинать лучше с эконометрики, статистики, экономики, правовых основ работы с данными, устраиваться на работу в компании, где данные широко используются (поисковые системы, мобильные операторы, страховые компании, банки), и практиковаться, практиковаться... проверяя всё что вам говорят на прецедентах из реальной жизни.
Например, если говорят, что нужна сертификация для работы с персональными данными, нужно поинтересоваться, сертифицируется ли на эту работу соседний ларёк и почему, есть ли по этому вопросу правоприменительная практика.
Постепенно Вы (как я в своё время) поймете, что модные Big Data и Data Science - это фетиш разработчиков и айтишников в новой обертке, а проработку экономики и постановку задачи нужно делать полностью самому (либо с людьми, хорошо разбирающимися в экономике и праве конкретных отраслей и имеющих в них обширную практику). Именно к этому и нужно готовиться.
- Основы математики и статистики: Чтобы стать хорошим специалистом по Data Science, необходимо хорошо понимать математические и статистические понятия. Рекомендуется изучить основные понятия линейной алгебры, дифференциального и интегрального исчисления, теории вероятностей и математической статистики.
- Изучение программирования: Важно овладеть как минимум одним языком программирования, используемым в Data Science. Рекомендуется изучить Python, который является наиболее распространенным языком, используемым в этой области.
- Работа с инструментарием: Изучите инструменты и библиотеки, используемые в Data Science, такие, как: NumPy, Pandas, Scikit-learn, Matplotlib и другие. Чтобы принимать бизнес решения удобно представлять данные в виде диаграмм и детальных отчетов, с которыми как раз помогают перечисленные выше инструменты.
- Знакомство с ML: узнать про модели, датасеты, создание машин, которые могут обучаться и предсказывать или классифицировать значения по признакам. Для этого также обычно используют Python и разные библиотеки, например, SKlearn, NumPy и matplotlib
- Работа с базами данных: Вам также пригодится знание SQL. Язык запросов используется при выборке и анализе данных. Не лишним будет разобраться в работе одной из популярных СУБД, например, PostgreSQL, чтобы понимать как можно оптимизировать тяжелые запросы.
- Практика и проекты: Для лучшего понимания Data Science необходимо постоянно практиковаться и создавать свои проекты. Это поможет закрепить знания и получить опыт работы с реальными данными.
- Обучение и сертификация: Можно также пройти онлайн-курсы, почитать учебники и другие ресурсы для изучения Data Science и получения сертификата, который может улучшить ваше резюме и увеличить шансы на получение работы в этой области.
Я бы посоветовал заглядывать на сайт R-bloggers.com Так можно составить представление о том, чем люди вообще занимаются - и не только в какой-нибудь компании, но и в академической среде, в здравоохранении, в госуправлении и т.п. Многие авторы анонсируют там свои книжки при помощи коротких заметок. Часто предлагается решение какой-нибудь задачи, и сразу публикуется код на R. Разумеется, ограничением является использование именно R, а не, скажем, python. Но R фантастически популярен, за последние годы издано более 400 книжек, посвящённых его применению в разных областях науки и практики. Причём практически всегда к задаче прилагаются и наборы данных, и готовый код, т.е. понять, о чём идёт речь, можно довольно быстро.
Я писала где-то ответ по тому, как научиться работать с базами данных. Копирую еще сюда:
Есть работа с базами данных, есть визуализация баз данных, есть получение информации из баз данных.
Следовательно, начинаем с изучения SQL, чтобы можно было поковыряться в самой базе. Мне больше всего понравился учебник из серии "для чайников".
Для того, чтобы то, что мы вытащили из базы данных, можно было оформить, изучаем визуализацию. Очень круто и просто все рассказывается в учебнике Robert Spence "Information Visualization".
Теперь можно идти к чему-то более крутому - это data mining. Для этого нужно прокачать знание теории вероятности, статистики и выбрать себе язык программирования, которым вы будете пользоваться при работе с базами данных. Очень важно (!) разобраться в machine learning. Учебников и пособий тут миллиард. Я бы не стала брать что-то серьезное, если у вас нет бэкграунда, а совмещала бы этот этап с предыдущими, чтобы можно было делать крутые штуки уже с самого начала - это очень вдохновляет.