и полнотой, и предоставляет сбалансированную оценку производительности модели.
Например, если у нас есть следующие значения:
– Число правильных предсказаний положительных примеров (true positives) = 80
– Общее число положительных предсказаний (true positives + false positives) = 100
– Общее число действительно положительных примеров (true positives + false negatives) = 95
Тогда, для вычисления точности:
– Precision = 80 / 100 = 0.8 или 80%
А для вычисления полноты:
– Recall = 80 / 95 = 0.842 или 84.2%
После этого, можно вычислить F1-меру:
– F1-Score = 2 * (0.8 * 0.842) / (0.8 +0.842) = 0.820
F1-мера для данной модели будет равна 0.820.
Алгоритм вычисления F1-меры позволяет учесть как точность, так и полноту предсказаний модели, и предоставляет более сбалансированную оценку ее производительности в задачах классификации. F1-мера является полезным инструментом для сравнения и выбора моделей на основе их сбалансированной производительности.
5. AUC-ROC (Area Under the ROC Curve): это метрика, которая оценивает производительность модели на основе ее способности правильно классифицировать образцы из двух классов. Относительная площадь под ROC-кривой показывает, насколько точно и надежно модель делает классификацию.
Алгоритм вычисления AUC-ROC (Area Under the ROC Curve), которая оценивает производительность модели на основе ее способности правильно классифицировать образцы из двух классов, может быть описан следующим образом:
5.1. Получение набора данных исходных примеров и соответствующих меток классов.
5.2. Применение модели или алгоритма классификации к каждому примеру из набора данных для получения предсказанных вероятностей классификации.
5.3. Сортировка предсказанных вероятностей классификации по убыванию.
5.4. Вычисление значения TPR (True Positive Rate) и FPR (False Positive Rate) для каждого порогового значения отсечения.
5.5. Построение ROC-кривой, где по оси X откладывается FPR, а по оси Y – TPR.
5.6. Вычисление площади под ROC-кривой (AUC-ROC).
Алгоритм ROC-кривой и вычисления AUC-ROC может включать в себя различные методы, такие как метод трапеции или метод идеального ранга, в зависимости от требуемой точности.
AUC-ROC предоставляет информацию о способности модели правильно классифицировать образцы из двух классов, независимо от выбора порогового значения для классификации. Большее значение AUC-ROC соответствует лучшей производительности модели, где 1.0 означает идеальную классификацию, а 0.5 – случайное угадывание.
Цель алгоритма состоит в том, чтобы вычислить AUC-ROC, анализировать ROC-кривую и принять решение о производительности модели на основе площади под кривой.
Обратите внимание, что для вычисления AUC-ROC необходимо иметь доступ к предсказанным вероятностям классификации модели, чтобы определить ее поведение на разных пороговых значениях отсечения.
Книга также представляет другие алгоритмы
