технологическая практика Витте

–          Задача на практику – продемонстрировать способность к самостоятельному освоению и применению сторонних библиотек на примере программы, использующей связку pandas, matplotlib и numpy. По усмотрению практиканта, можно так же инсталлировать и другие библиотеки.

–          Получить или сгенерировать набор данных (dataset) в виде файла или файлов в формате *.csv. Задачей практики будет поиск закономерностей в выбранных данных. Данные можно брать любые, как сгенерированные уже существующей имеющейся в распоряжении практиканта программой, так и в готовом виде из доступных практиканту ресурсов (в том числе из Интернета с ресурсов типа kaggle.com).

–          Требования к набору данных:

o   данные объединены общей темой.

o   в исходной таблице должно быть не менее 800 рядов

o   данные необходимо согласовать с руководителем практики

Сформировать на основе полученного набора данных общий объект типа pandas.DataFrame. Вывести на  печать разные группы рядов и колонок итогового объекта.

–          Выполнить очистку данных от «цифрового мусора» (то есть неопределённых или не имеющих смысла записей). Строки с мусорными данными можно удалять или каким-то образом заполнять правильными данными (взяв, например, среднее значение или медиану в колонке). Удаление не должно нарушать минимальное требование по объёму.

–          Максимально привести данные в числовую форму (например, если в таблице есть колонка «пол» человека, то значения в ней должны стать 0 и 1).

–          Выполнить расчет и вывод в консоль (и текстовый файл) стандартных статистических характеристик по цифровым данным (среднее, медиана и прочие релевантные статистические характеристики).

–           Добавить данные, полученные в результате статистических вычислений, в отдельные колонки DataFrame.

–          Придумать 5 разных способов разделения данных по рассчитанным признакам (возможные варианты: по частоте, по распределению, по экономической целесообразности итд.). Определить, какие колонки и ряды данных относятся к какому распределению.

–          Выделить 5 новых DataFrame из старого, согласно выбранным способам разделения данных.

Написать сегменты отчёта, в которых коммуницировать результаты проделанной работы.–      Визуализировать данные разных статистических срезов с помощью библиотеки matplotlib. Использование этой библиотеки обязательно, но в дополнение к ней можно использовать и другие.

–      Объединить сгенерированные статистические данные в один набор с исходными данными, добавив соответствующие колонки в исходный DataFrame.

–      Выдвинуть 3 гипотезы, о том, каким образом можно предсказать значение одного из исходных столбцов исходного DataFrame на основе остальных, в том числе статистически рассчитанных.

–      Проверить эти гипотезы, написав функции такого рассчёта.

–      Протестировать их на своём DataFrame, определив количество относительный вес точных и неточных ответов.

–      Подумать, какие параметры могут быть у выбранной функции рассчёта и как можно эту функцию оптимизировать, подобрав наиболее подходящие параметры. Написать какой-то (может быть даже неудачный) алгоритм такой оптимизации.

Написать сегменты отчёта, в которых коммуницировать результаты проделанной работы.