# data[].attributes.headline
Обучение с учителем

# data[].attributes.subject
Обучение с учителем

# data[].attributes.body
**Обучение с учителем** - знаем ПРАВИЛЬНЫЙ ответ для каждого примера, найти такое отображение (правило, модель), которое переводит пример в ответ, то есть позволит нам и для для нового примера, которого не было в выборке дать ответ

Что надо понимать: что такое пример, что такое ответ с математической точки зрения

Как можно из большого количества признаков сделать один ответ, формально что такое отображение?

# data[].attributes.attachment_link.title
Снимок экрана (382)

# data[].attributes.body
Julia Cores
Machine Learning Road Map
Class: Machine Learning Date: Sep 14, 2020 Number of the class: 2

Определение
Машинное обучение - это превращение вещей (данных) в числах и нахождение паттернов в этих числах.

Имеется вход и выход, а МО определяет, что нужно сделать внутри программы (функции)

МО подходит для:

Проблем с длинным списком правил
В постоянно меняющемся окружении - машина может адаптироваться (учиться) к новому окружению
Находить инсайты в большом количестве данных
Road Map of Machine Learning

https://whimsical.com/CA7f3ykvXpnJ9Az32vYXva

https://whimsical.com/CA7f3ykvXpnJ9Az32vYXva

Machine Learning - White BG.pdf

1. Проблемы машинного обучения
Категории машинного обучения:

Под присмотром "supervised"
Есть данные и лейблы, мы в ручную расставляем лейблы по данным "эта картинка - кот"

Без присмотра "unsupervised"
Есть просто данные, программа сама пытается выявить паттерны и найти аномальные. Сюда также входят anomaly detection, clustering, dimensionality reduction

С заимствованием "transfer learning"
Программа берет решение другой модели с МО и изменяет ее под себя. Например, взять страницу с википедии и научиться отношению между словами и использовать это знание отношения, чтобы сделать что-то свое.

С подкреплением "reinforcement learning"
Проблемы машинного обучения:

Классификация (по признаку: есть у человека болезнь или нет?)
Регрессия (угадывание числа из предыдущего опыта: цену дома на основе всех цен в округе)
Кластеринг (объединение в группы по какому-то признаку)
Снижение размера данных(обращает внимание только на самые важные данные)
2. Процесс Машинного Обучения
Постоянный процесс из таких действий:

Сбор данных
Подготовка данных
Обучение модели
Анализ модели
Публикация модели
Переучивание модели
Machine%20Learning%20Road%20Map%20c0504303f0b347d89ff7411f01a93bd4/__2020-09-11__12.54.20.png

3. Инструменты для Машинного обучения
Инструменты, которые нужны, чтобы сделать всю работу

библиотеки
заранее обученные модели (для трансферного обучения)
треккинг эксперимента
треккинг данных и моделей
облачные вычислительные сервисы
создание своего компьютера (это может быть дешевле, чем использовать другие вычислительные мощности)
авто машинное обучение (модель формируется самостоятельно на основе данных)
объяснение (почему модель делает что-то таким образом)
жизненные циклы машинного обучения
4. Математика для Машинного обучения
Нужно начать делать модели, а когда появится необходимость - заняться математикой

линейная алгебра
манипуляция матрицами
вычисления
правило цепи
вероятность и дистрибуция
оптимизация
5. Ресурсы для Машинного обучения
Глубокое погружение займет примерно 2-3 года при 4-х часовом ежедневном обучении. Больше ресурсов - в интеллект-карте.

# data[].attributes.attachment_link.title
Снимок экрана (383)

# data[].attributes.attachment_link.title
Снимок экрана (381)

# data[].attributes.body
Roadmap itself: https://dbourke.link/mlmap
“Machine learning is like cooking chicken to figure out a particular recipe”

Machine learning is useful for:

big mount of data

changing environments

long list of rules

ML problems:

classification (binary, multi-label and multi-class classification)

regression (unpredicted possibilities against strong algorithms — black swans)

clustering (defining clusters)

dimensionality reduction (defining prior inputs/data)

ML Process:

1. Data collection

2. Data preparation

3. Model training

4. Analysis/Evaluation

5. Serving a model (return back if necessary)

6. Retraining a model (return to point 1)

Necessary tools, math and resources are countless…

# data[].attributes.body
Про Git

# data[].attributes.body
Notes on ‘2020 Machine Learning Roadmap’

(https://www.youtube.com/watch?v=pHiMN_gy9mk&feature=youtu.be)

PART 0: INTRO
Important links -
Interactive Machine Learning Roadmap (if u are not a fan of 2-hours and a half long videos - better search for needed info here) - https://dbourke.link/mlmap
Honestly - everything u need now is to wonder this map. I tried to take some notes about basic structure of the map, but honestly - this map in the best conspect.

Machine Learning Roadmap Resources - https://github.com/mrdbourke/machine-…
Learn machine learning (via the course I teach) - https://dbourke.link/mlcourse

What is ML?
ML - turning data into numbers and finding patterns in those numbers.

Machine learning (2.0) vs. traditional programming(1.0)
2.0 needs 1.0, but 1.0 does not need 2.0.

1.0 = input - instructions - ideal output
2.0 = input - ideal output - instructions

We need ML

when we do not know all the RULES (instructions) and our task is to figure it out

when environments continually change

discover insights within large collections of data

PART 1: Machine Learning Problems

Categories of learning:

supervised

unsupervised

transfer (take working ml patterns and apply then to ur data)

reinforcement

U should go to roadmap (link upstairs) to lear more about each one!

Problem domains:

classification

example problems

binary

multy-class

multy-label

evaluation metrics

confusion matrix

остальное в роадмэп

regression

rˆ2

mse (mean square error)

mae (mean absolute error)

clustering

dimensionality reduction (игнорируем ненужные категории в дате)

seq2seq (translation for example)

U should go to roadmap (link upstairs) to lear more about each one! x2

PART 2: Machine Learning Process

Steps in ML project:

data collection

understand where u would search for data, is it public, how to collect it?

what type of data?

nominal

numerical

ordinal

time series

unstructured data (seq2seq)

data preparation

EDA (exploratory data anal)

data preprocessing

f. imputation

f.encoding

f.normalization

f.engineering

f.selection

dealing with imbalances

data splitting

training (70-80) (sklearn to import some ml models)

validation (10-15)

test set (10-15)

train model on data

choose an algorithm (look P1)

type of learning

underfitting

overfitting

analysis/evaluation

evaluation metrix

feaure importance

training

compare to other models

what does ml model get wrong

bias

serve model

retrain model (when necessary)

U should go to roadmap (link upstairs) to lear more about each one! x3

PART 3: Machine Learning Tools

libraries (py)

scikit-learn

pytorch

tensorflow (pretty same as pytorch)

onnx (for c++ too)

toolbox

pretrand models

tensorflow hub

pytorch hub

huggingface transformers (nat language )

detectron2

experiment tracking

data tracking (DVC)

cloud compute services

hardware

AutoML

Explainability

…

PART 4: Machine Learning Mathematics

линейная алгебра

матрицы

многомерный анализ

априорная вероятность

probability (kak eto po-russki?)

оптимизация

chain rule (??)
https://mml-book.github.io/
https://www.deeplearningbook.org/

PART 5: Machine Learning Resources

Лучше всего зайти на карту и потыкать, что конкретно нужно!

Внутри карты есть сегменты по:

коду

концепту и процессу МО

математике

тому, как учиться :)

Подборки:

книг

облачных сервисов

сводов правил и чек-листов

сетов даты