STATISTICA предлагает широкий выбор методов разведочного статистического анализа. Система может вычислить практически все описательные статистики, включая медиану, моду, квартили, определенные пользователем процентили, средние и стандартные отклонения, доверительные интервалы для среднего, коэффициенты асимметрии, эксцесса (с их стандартными ошибками), гармоническое и геометрическое среднее, а также многие другие описательные статистики. Возможен выбор критериев для тестирования нормальности распределения (критерий Колмогорова-Смирнова, Лилиефорса, Шапиро-Уилкса). Широкий выбор графиков помогает проведению разведочного анализа.
2. Корреляции.
Этот раздел включает большое количество средств, позволяющих исследовать зависимости между переменными. Возможно вычисление практически всех общих мер зависимости, включая коэффициент корреляции Пирсона, коэффициент ранговой корреляции Спирмена, Тау (Ь,с) Кендалла, Гамма, коэффициент сопряженности признаков С и многие другие..
Корреляционные матрицы могут быть вычислены и для данных с пропусками, используя специальные методы обработки пропущенных значений.
Специальные графические возможности позволяют выбрать отдельные точки на диаграмме рассеяния и оценить их вклад в регрессионную кривую или любую другую кривую, подогнанную к данным.
3. t - критерии (и другие критерии для групповых различий).
Процедуры позволяют вычислить t-критерии для зависимых и независимых выборок, а также статистика Хоттелинга (см. также ANOVA/MANOVA).
4. Таблицы частот и таблицы кросстабуляций.
В модуле содержится обширный набор процедур, обеспечивающих табулирование непрерывных, категориальных, дихотомических переменных, переменных, полученных в результате многовариативных опросов. Вычисляются как кумулятивные, так и относительные частоты. Доступны тесты для кросстабулированных частот. Вычисляются статистики Пирсона, максимального правдоподобия, Иегс-коррекция, хи-квадрат, статистики Фишера, Макнемера и многие другие.
Модуль «Множественная регрессия»
Модуль «Множественная регрессия» включает в себя исчерпывающий набор средств множественной линейной и фиксированной нелинейной (в частности, полиномиальной, экспоненциальной, логарифмической и др.) регрессии, включая пошаговые, иерархические и другие методы, а также ридж-регрессию.
Система STATISTICA позволяет вычислить всесторонний набор статистик и расширенной диагностики, включая полную регрессионную таблицу, частные и частичные корреляции и ковариации для регрессионных весов, матрицы прогонки, статистику Дарбина-Ватсона, расстояния Махаланобиса и Кука, удаленные остатки и многие другие. Анализ остатков и выбросов может быть проведен при помощи широкого набора графиков, включая разнообразные точечные графики, графики частичных корреляций и многие другие. Система прогноза позволяет пользователю выполнять анализ "что - если". Допускаются чрезвычайно большие регрессионные задачи (до 300 переменных в процедуре разведочной регрессии). STATISTICA также содержит «Модуль нелинейного оценивания», с помощью которого могут быть оценены практически любые определенные пользователем нелинейные модели, включая логит, пробит регрессию и др.
Модуль «Дисперсионный анализ». Общий ANOVA/MANOVA модуль
ANOVA/MANOVA модуль представляет собой набор процедур общего одномерного и многомерного дисперсионного и ковариационного анализа.
В модуле представлен самый широкий выбор статистических процедур для проверки основных предположений дисперсионного анализа, в частности, критерии Бартлетта, Кохрана, Хартли, Бокса и других.
Модуль «Дискриминантный анализ»
Методы дискриминантного анализа позволяют построить на основе ряда предположений классификационное правило отнесения объекта к одному из нескольких классов, минимизируя некоторый разумный критерий, например, вероятность ложной классификации или заданную пользователем функцию потерь. Выбор критерия определяется пользователем из соображений ущерба, который он понесет из-за ошибок классификации.
Модуль дискриминантного анализа системы STATISTICA содержит полный набор процедур для множественного пошагового функционального дискриминантного анализа. STATISTICA позволяет выполнять пошаговый анализ, как вперед, так и назад, а также внутри определенного пользователем блока переменных в модели.
Модуль «Непараметрическая статистика и подгонка распределений»
Модуль содержит обширный набор непараметрических критериев согласия, в частности, критерий Колмогорова-Смирнова, ранговые критерии Манна-Уитни, Валь-да-Вольфовица, Вилкоксона и многие другие.
Все реализованные ранговые критерии доступны в случае совпадающих рангов и используют поправки для малых выборок.
Статистические процедуры модуля позволяют пользователю легко сравнить распределение наблюдаемых величин с большим количеством различных теоретических распределений. Вы можете подогнать к данным нормальное, равномерное, линейное, экспоненциальное, Гамма, логнормальное, хи-квадрат, Вейбулла, Гомпертца, биномиальное, Пуассоновское, геометрическое распределения, распределение Бернулли. Точность подгонки оценивается с помощью критерия хи-квадрат или одновыборочного критерия Колмогорова-Смирнова (параметры подгонки могут контролироваться); также поддерживаются тесты Лиллифорса и Шапиро-Уилкса.
Модуль «Факторный анализ»
Модуль факторного анализа содержит широкий набор методов и опций, снабжающих пользователя исчерпывающими средствами факторного анализа.
Он, в частности, включает в себя метод главных компонент, метод минимальных остатков, метод максимального правдоподобия и др. с расширенной диагностикой и чрезвычайно широким набором аналитических и разведочных графиков. Модуль может выполнять вычисление главных компонент общего и иерархического факторного анализа с массивом, содержащим до 300 переменных. Пространство общих факторов может быть выведено на график и просмотрено либо "ломтик за ломтиком", либо на 2- или 3-мерных диаграммах рассеяния с помеченными переменными-точками.
После того как решение определено, пользователь может пересчитать корреляционную матрицу от соответствующего числа факторов для того, чтобы оценить качество построенной модели.
Кроме того, STATISTICA содержит модуль «Многомерное шкалирование», модуль «Анализ надежности», модуль «Кластерный анализ», модуль «Лог-линейный анализ», модуль «Нелинейное оценивание», модуль «Каноническая корреляция», модуль «Анализ длительностей жизни», модуль «Анализ временных рядов и прогнозирование» и другие.
Численные результаты статистического анализа в системе STATISTICA выводятся в виде специальных электронных таблиц, которые называются таблицами вывода результатов - ScroHsheets ™. Таблицы Scrollsheet могут содержать любую информацию (как численную, так и текстовую), от короткой строчки до мегабайтов результатов. В системе STATISTICA эта информация выводится в виде последовательности (очереди), которая состоит из набора таблиц Scrollsheet и графиков.
STATISTICA содержит большое количество инструментов для удобного просмотра результатов статистического анализа и их визуализации. Они включают в себя стандартные операции по редактированию таблицы (включая операции над блоками значений, Drag-and-Drop - "Перетащить и опустить", автозаполнение блоков и др.), операции удобного просмотра (подвижные границы столбцов, разделение прокрутки в таблице и др.), доступ к основным статистикам и графическим возможностям системы STATISTICA. При выводе целого ряда результатов (например, корреляционной матрицы) STATISTICA отмечает значимые коэффициенты корреляции цветом. Пользователь так же имеет возможность выделить при помощи цвета необходимые значения в таблице Scrollsheet.
Если пользователю необходимо провести детальный статистический анализ промежуточных результатов, то можно сохранить таблицу Scrollsheet в формате файла данных STATISTICA и далее работать с ним, как с обычными данными.
Кроме вывода результатов анализа в виде отдельных окон с графиками и таблицами Scrollsheet на рабочем пространстве системы STATISTICA, в системе имеется возможность создания отчета, в окно которого может быть выведена вся эта информация. Отчет - это документ (в формате RTF), который может содержать любую текстовую или графическую информацию. В STATISTICA имеется возможность автоматического создания отчета, так называемого автоотчета. При этом любая таблица Scrollsheet или график могут автоматически быть направлены в отчет.
Обновлено 29.07.2008
Мои достаточно сумбурные мысли на тему применения статистических методов при обработке протеомных данных.
ПРИМЕНЕНИЕ СТАТИСТИКИ В ПРОТЕОМИКЕ
Обзор методов для анализа экспериментальных данных
Пятницкий М.А.
ГУ НИИ биомедицинской химии им. В.Н. ОреховичаРАМН
119121, Москва, Погодинская ул. д.10,
e -mail : mpyat @ bioinformatics . ru
Протеомные эксперименты требуют тщательной продуманной статистической обработки результатов. Существует несколько важных черт, характеризующих протеомные данные:
Впрочем, подобные признаки присущи и многим другим данным, полученных с помощью high-throughput технологий.
Типичными задачами протеомного эксперимента являются:
Здесь я сосредоточусь в основном на применении статистики для анализа масс-спектров. Однако многое из сказанного относится и к другим типам экспериментальных данных. Здесь почти не рассматриваются сами методы (за исключением более подробного описания ROC -кривых), а скорее очень кратко обрисован арсенал методов для анализа данных и даются наметки к осмысленному его применению.
Важнейшим шагом при работе с любым массивом данных является разведочный анализ, exploratory data analysis (EDA). На мой взгляд, это едва ли не самый главный момент при статистической обработке данных. Именно на этом этапе нужно получить представление о данных, понять какие методы лучше применять и, что более важно, каких результатов можно ожидать. В противном случае, это будет игра “вслепую” (а давайте попробуем такой-то метод), бессмысленный перебор арсенала статистики, data dredging. Статистика тем и опасна, что всегда выдаст какой-либо результат. Сейчас, когда запуск сложнейшего вычислительного метода требует всего пары щелчков мышью, это особенно актуально.
Согласно Tukey, целями разведочного анализа являются:
На этом этапе разумно получить как можно больше информации о данных, используя в первую очередь графические средства. Постройте гистограммы для каждой переменной. Как это не банально, взгляните на описательную статистику. Полезно посмотреть на графики рассеяния (при этом рисуя точки различными символами, индицирующими принадлежность к классам). Интереснопосмотретьнарезультаты PCA (principal component analysis) и MDS(multidimensional scaling). Итак, EDA - это в первую очередь широкое применение графической визуализации.
Перспективно применение методов projection pursuit для поиска наиболее “интересной” проекции данных. Обычно, возможна некоторая степень автоматизации этой работы (GGobi ). Произволом является выбор индекса для поиска интересных проекций.
Обычно, данные не являются нормально распределенными, что не удобно для статистических процедур. Часто встречается лог-нормальное распределение. Простым логарифмированием можно сделать распределение куда более приятным. Вообще не стоит недооценивать такие простые методы как логарифмирование и другие преобразования данных. На практике не раз встречаются случаи, когда после логарифмирования начинают получаться осмысленные результаты, хотя до предобработки результаты были малосодержательными (здесь пример про масс-спектрометрию вин).
Вообще, выбор нормировки - это отдельная задача, которой посвящены многие работы. Выбор метода предобработки и шкалирования может существенным образом повлиять на результаты анализа (Berg et al, 2006). На мой взгляд, лучше всегда по умолчанию проводить простейшую нормировку (например , если распределение симметрично или логарифмирование в другом случае), чем вообще не пользоваться этими методами.
Приведем несколько примеров графической визуализации и применения простых методов статистики для разведочного анализа данных.
Ниже приведены примеры графиков, которые, возможно, имеет смысл строить для каждой переменной. Слева показаны оценки плотности распределения для каждого из двух классов (красный - рак, синий - контроль). Обратите внимание, что под графиками представлены и сами значения, по которым строится оценка плотности. Справа приведена ROC -кривая, и показана площадь под ней. Тем самым сразу можно видеть потенциал каждой переменной как дискриминаторной между классами. Ведь именно дискриминация между классами обычно является конечной целью статистического анализа протеомных данных.
На следующем рисунке показана иллюстрация нормировки: типичное распределение интенсивности пика на масс-спектре (слева) при логарифмировании дает распределение близкое к нормальному (справа).
Далее покажем применение heatmap для разведочного анализа данных. По столбцам - пациенты, по строкам - гены. Цвет показывает численное значение. Видно четкое разделение на несколько групп. Это отличный пример применения EDA , который сразу дает наглядную картину о данных.
На следующей картине показан пример gel -view графика. Это стандартный прием для визуализации большого набора спектров. Каждая строка - образец, каждый столбец - пик. Цветом закодирована интенсивность значения (чем ярче тем лучше). Такие картинки можно получить, например, в ClinProTools . Но там имеется большой недостаток - строки(образцы) идут в том порядке, в котором они были загружены. Гораздо правильнее переставлять строки(образцы) таким образом, что близкие образцы располагаются рядом и на графике. Фактически это heatmap без сортировки столбцов и дендрограмм по бокам.
На следующей картинке приведен пример применения многомерного шкалирования. Кружки - контроль, треугольники - рак. Видно, что рак имеет существенно большую дисперсию и построение решающего правила вполне возможно. Такой любопытный результат достигается всего для двух первых координат! Глядя на такую картинку, можно преисполнится оптимизмом относительнорезультатов дальнейшей обработки данных.
Следующей проблемой, с которой сталкивается исследователь, является проблема пропущенных значений. Опять-таки, этой теме посвящено множество книг, в каждой из которых описаны десятки способов решения этой задачи. Пропущенные значения часто встречаются в данных, которые получают путемhigh -throughput экспериментов. Многие же статистические методы требуют полных данных.
Приведу основные способы решения проблемы пропущенных значений:
. убрать строки/столбцы с пропущенными значениями. Оправдано, если пропущенных значений относительно немного, иначе придется убирать все
. генерировать новые данные взамен пропущенных (заменять на среднее, получать из оцененного распределения)
. использовать методы нечувствительные к пропущенным данным
. поставить эксперимент еще раз!
Выброс - это образец с резко отличающимися показателями от основной группы. Опять,эта теме глубоко и обширно разработана в соответствующей литературе.
В чем опасность наличия выбросов? В первую очередь, это может существенным образом повлиять на работу неробастных (не устойчивых к выбросам) статистических процедур. Наличие даже одного выброса в данных может существенно изменить оценки среднего и дисперсии.
Выбросы трудно заметны в многомерных данных, поскольку могут проявляться только в значениях одной-двух переменных (напомню, что в типичном случае протеомный эксперимент описывается сотнями переменных). Здесь и пригодится анализ каждой переменной в отдельности - при просмотре описательных статистик или гистограмм (вроде тех, которые были приведены выше) такой выброс легко обнаружить.
Возможны две стратегии для поиска выбросов:
1) вручную - анализ графиков рассеяния, PCA ,и другие методы разведочного анализа. Попробуйте построить дендрограмму - на ней выброс будет виден в виде отдельной ветки, которая рано отходит от корня.
2) 2) разработано множество критериев для обнаружения (Yang , Mardia , Schjwager ,…)
Средства борьбы с выбросами
. удаление выбросов
. применять устойчивые к выбросам(робастные) статистические методы
При этом нужно держать в голове, что возможно выброс - это не ошибка эксперимента, а некий существенно новый биологический факт. Хотя такое, конечно, случается крайне редко, но все же…
На следующем рисунке показаны возможные типы выбросов по типу их влияния на статистики.
Проиллюстрируем, как влияют выбросы на поведение коэффициентов корреляции.
Нас интересует случай (f ) . Видно, как наличие всего 3 выбросов дает значение коэффициента корреляции Пирсона равным 0.68, в то время как коэффициенты Спирмена и Кендалла дают гораздо более разумные оценки (корреляции нет). Правильно, коэффициент корреляции Пирсона - неробастная статистика.
Покажем применение метода PCA для визуального обнаружения выбросов.
Конечно, всегда полагаться на такие “кустарные” методы обнаружения не стоит. Лучше обратиться к литературе.
Обычно, основной целью анализа протеомных данных является построение решающего правила для отделения одной группы образцов от другой (например, рак/норма). После проведения разведочного анализа и нормировки обычно следующим шагом является уменьшение размерности пространства признаков (dimensionality reduction ).
Большое число переменных (а это стандартная ситуация в протеомных экспериментах):
. усложняет анализ данных
. обычно не все переменные имеют биологическую интерпретацию
. часто целью работы является отбор “интересных” переменных (биомаркеры)
. ухудшает работу алгоритмов классификации. Из-за этого - переобучение (overfitting ).
Поэтому стандартным шагом является применение dimensionality reduction перед классификацией
Методы dime nsionality reduction можно разделить на 2 типа:
1) Filter
Задачами этой группы методов является либо удаление уже существующих “малоинтересных” переменных, либо создание новых переменных как линейных комбинаций старых. Сюда относятся
PCA , MDS ,
методы теории информации и т.д.
Другой идеей является направленный отбор “интересных переменных”: например, бимодальные переменные всегда интересны для просмотра (в идеале каждый пик соответствует своему классу для бинарной классификации). Впрочем, это можно отнести к разведочному анализу.
Еще одним подходом является исключение сильно скоррелированных между собой переменных. При таком подходе переменные группируются используя коэффициенты корреляции в качестве меры расстояния. Можно использовать не только корреляцию Пирсона, но и другие коэффициенты. Из каждого кластера скорреллированных переменных оставляется только одна (например, по критерию наибольшей площади под ROC -кривой).
На рисунке приведен примервизуализации такого кластерного анализа пиков с помощью heatmap . Матрица симметрична, цвет показывает значения коэффициента корреляции Пирсона (синий - высокие значения корреляции, красный - низкие значения). Четко выделяется несколько кластеров сильно зависимых между собой переменных.
2) Wrapper
Здесь используются алгоритмы классификации в качестве меры качества набора отобранных переменных. Оптимальным решением является полный перебор всех сочетаний переменных, поскольку при сложных взаимосвязях между переменными
вполне возможны ситуации, когда две переменные по отдельности не являющиеся дискриминаторными при добавлении третьей становятся таковыми. Очевидно, что полный перебор вычислительно не возможен при сколько-нибудь значительном числе переменных.
Попыткой преодолеть это “проклятие размерности” является применение генетических алгоритмов для поиска оптимального набора переменных. Другой стратегией является включение/исключение переменных по одной с одновременным контролем значения Akaike Information Criteria или Bayes Information Criteria .
Для этой группы методов обязательно применение кросс-валидации. Подробнее об этом написано в разделе о сравнении классификаторов.
Задача - построить решающее правило, которое позволит относить вновь обработанный образец в тот или иной класс.
Обучение без учителя - кластерный анализ. Это поиск наилучших (в некотором смысле) группировок объектов. К сожалению, обычно нужно задавать число кластеров a priori, либо выбирать порог отсечения (для иерархической кластеризации). Это всегда вносит неприятный произвол.
Обучение с учителем : нейронные сети, SVM, decision trees, …
Требуется большая выборка с заранее отклассифицированными объектами.
Обычно работает лучше, чем обучение без учителя.Кросс-валидация - при отсутствии тестовой выборки. Возникает проблема переобучения (overfitting)
Важным и простым тестом, который редко проводят, является запуск обученного классификатора на случайных данных. Сгенерируйте матрицу с размером равным размеру исходной выборки, заполните случайным шумом или нормальным распределением, проведите все методики, включая нормализацию, отбор переменных и обучение. В случае, если получаются разумные результаты (т.е. вы научились распознавать случайный шум) - будет меньше оснований верить и в построенный классификатор.
Есть и более простой способ - просто измените случайным образом метки классов для каждого объекта, не трогая при этом остальные переменные. Тем самым опять получится бессмысленный набор данных, на котором стоит прогнать классификатор.
Мне кажется, что доверять построенному классификатору можно лишь в том случае, если был выполнен хотя бы один из приведенных тестов на распознавание случайных данных.
Receiver-Operating Characteristic curve
. Используется для представления результатов классификации на 2 класса при условии, что известен ответ, т.е. известно правильное разбиение.
. Предполагается, что у классификатора имеется параметр(точка отсечения), варьируя который получается то или иное разбиение на два класса.
При этом определяется доля ложно положительных (FP ) и ложноотрицательных результатов (FN ). Рассчитывается чувствительность и специфичность, строиться график в координатах (1-специфичность, чувствительность). При варьировании параметра классификатора получаются различные значения FP и FN , и точка перемещается по ROC -кривой.
. Точность = (TP +TN ) / (TP +FP +FN +TN )
. Чувствительность = TP / TP+FN
. Специфичность = TN / TN+FP
Что является “положительным” событием - зависит от условий задачи. Если прогнозируется вероятность наличия заболевания, то положительный исход - класс “больной пациент”, отрицательный исход - класс “здоровый пациент”
Самое наглядное объяснение (с отличными java -апплетами иллюстрирующими суть идеи ROC ) я видел на http://www.anaesthetist.com/mnm/stats/roc/Findex.htm
ROC-curve:
. Удобно использовать для анализа сравнительной эффективности двух классификаторов.
. Чем ближе кривая к левому верхнему углу, тем выше предсказательная способность модели.
. Диагональная линия соответствует “бесполезному классификатору”, т.е. полной неразличимости классов
. Визуальное сравнение не всегда позволяет точно оценить какой классификатор предпочтительнее.
. AUC - Area Under Curve -численная оценка, позволяющая сравнивать кривые ROC .
. Значения от 0 до 1.
Сравнение двух ROC- кривых
Площадь под кривой (AUC ) как мера для сравнения классификаторов.
Другие примеры ROC -кривых приведены в разделе посвященном разведочному анализу.
Существует множество вариантов в применении методов распознавания образов. Важной задачей является сравнение между собой различных подходов и выбор наилучшего.
Наиболее распространенный сегодня способ сравнения классификаторов в статьях по протеомике (и не только) - это кросс-валидация. На мой взгляд, смысла в однократном применении процедуры кросс-валидации немного. Более разумный подход состоит в запуске кросс-валидации несколько раз (в идеале чем больше - тем лучше) и построении доверительных интервалов для оценки точности классификации. Наличие доверительных интервалов позволяет обоснованно решать является ли, например, улучшение качества классификации на 0.5% статистически значимым или нет. К сожалению, только в малом числе работ встречаются доверительные интервалы для точности, чувствительности и специфичности. Цифры же приводимые в других работах по этой причине трудно сравнивать между собой, поскольку не указан размах возможных значений.
Другим вопросом является выбор типа кросс-валидации. Мне больше нравится 10-fold или 5-fold кросс-валидация вместо leave -one -out .
Конечно, использование кросс-валидации это “акт отчаяния”. В идеале, выборка должна быть разбита на 3 части: на первой части строится модель, на второй части оптимизируются параметры этой модели, на третьей части производится проверка. Кросс-валидация - это попытка избежать этих построений, и оправдана лишь при малом числе образцов.
Из многочисленных запусков процедуры кросс-валидации можно почерпнуть и другую полезную информацию. Например, интересно посмотреть на каких объектах процедура распознавания ошибается чаще. Возможно, это ошибки в данных, выбросы или другие интересные случаи. Изучив на характерные свойства этих объектов иногда можно понять, в каком направлении стоит улучшать вашу процедуру классификации.
Ниже приведена таблица сравнения классификаторов для работы Moshkovskii et al , 2007. В качестве классификаторов использовались SVM и логистическая регрессия (LR ). Методамиотборапризнаковявлялись RFE (Re сursive Feature Elimination) и Top Scoring Pairs(TSP). Использование доверительных интервалов позволяет обоснованно судить о значимых преимуществах различных схем классификаций.
Здесь приведены некоторые книги и статьи, которые могут оказаться полезными при анализе протеомных данных.
C. Bishop, Neural Networks for Pattern Recognition
* Berrar, Dubitzky, Granzow. Practical approach to microarray data analysis (Kluwer, 2003). Книга посвящена обработке microarray (хотя я бы не стал рекомендовать ее для знакомства с предметом), но есть и пара интересных глав. Иллюстрация с влиянием выбросов на коэффициенты корреляции взята оттуда.
Литература, обозначенная знаками * есть в электронном виде, и автор делится ею безДвозДмездно (т.е. даром)
Data Mining Фролов Тимофей. БИ-1102 Добыча данных это процесс аналитического исследования больших массивов информации (обычно экономического характера) с целью выявления определенных закономерностей и систематических взаимосвязей между переменными, которые затем можно применить к новым совокупностям данных. Этот процесс включает три основных этапа: исследование, построение модели или структуры и ее проверку. В идеальном случае, при достаточном количестве данных можно организовать итеративную процедуру для построения устойчивой модели. В то же время, в реальной ситуации практически невозможно проверить экономическую модель на стадии анализа и поэтому начальные результаты имеют характер эвристик, которые можно использовать в процессе принятия решения (например, "Имеющиеся данные свиделельствуют о том, что у женщин частота приема снотворных средств увеличивается с возрастом быстрее, чем у мужчин."). Методы Data Mining приобретают все большую популярность в качестве инструмента для анализа экономической информации, особенно в тех случаях, когда предполагается, что из имеющихся данных можно будет извлечь знания для принятия решений в условиях неопределенности. Хотя в последнее время возрос интерес к разработке новых методов анализа данных, специально предназначенных для сферы бизнеса (например, Деревья классификации), в целом системы Data Mining по-прежнему основываются на классических принципах разведочного анализа данных(РАД) и построения моделей и используют те же подходы и методы. Имеется, однако, важное отличие процедуры Data Mining от классического разведочного анализа данных (РАД) : системы Data Mining в большей степени ориентированы на практическое приложение полученных результатов, чем на выяснение природы явления. Иными словами, при Data Mining нас не очень интересует конкретный вид зависимостей между переменными задачи. Выяснение природы участвующих здесь функций или конкретной формы интерактивных многомерных зависимостей между переменными не является главной целью этой процедуры. Основное внимание уделяется поиску решений, на основе которых можно было бы строить достоверные прогнозы. Таким образом, в области Data Mining принят такой подход к анализу данных и извлечению знаний, который иногда характеризуют словами "черный ящик". При этом используются не только классические приемы разведочного анализа данных, но и такие методы, как нейронные сети, которые позволяют строить достоверные прогнозы, не уточняя конкретный вид тех зависимостей, на которых такой прогноз основан. Очень часто Data Mining трактуется как "смесь статистики, методов искуственного интеллекта (ИИ) и анализа баз данных" (Pregibon, 1997, p. 8), и до последнего времени она не признавалась полноценной областью интереса для специалистов по статистике, а порой ее даже называли "задворками статистики" (Pregibon, 1997, p. 8). Однако, благодаря своей большой практической значимости, эта проблематика ныне интенсивно разрабатывается и привлекает большой интерес (в том числе и в ее статистических аспектах), и в ней достигнуты важные теоретические результаты (см. например, материалы ежегодно проводимой Международной конференции по поиску знаний и Data Mining (International Conferences on Knowledge Discovery and Data Mining), одним из организаторов которой в 1997 году стала Американская статистическая ассоциация - American Statistical Association). хранилище данных это место хранения больших многомерных массивов данных, которое позволяет легко извлекать и использовать информацию в процедурах анализа. Эффективная архитектура хранилища данных должна быть организована таким образом, чтобы быть составной частью информационной системы управления предприятием (или по крайней мере иметь связь со всеми доступными данными). При этом необходимо использовать специальные технологии работы с корпоративными базами данных (например, Oracle, Sybase, MS SQL Server). Высокопроизводительная технология хранилищ данных, позволяющая пользователям организовать и эффективно использовать базу данных предприятия практически неограниченной сложности, разработана компанией StatSoft enterprise systems и называется SENS и SEWSS ). Термин OLAP (или FASMI - быстрый анализ распределенной многомерной информации) обозначает методы, которые дают возможность пользователям многомерных баз данных в реальном времени генерировать описательные и сравнительные сводки ("views") данных и получать ответы на различные другие аналитические запросы. Обратите внимание, что несмотря на свое название, этот метод не подразумевает интерактивную обработку данных (в режиме реального времени); он означает процесс анализа многомерных баз данных (которые, в частности, могут содержать и динамически обновляемую информацию) путем составления эффективных "многомерных" запросов к данным различных типов. Средства OLAP могут быть встроены в корпоративные (масштаба предприятия) системы баз данных и позволяют аналитикам и менеджерам следить за ходом и результативностью своего бизнеса или рынка в целом (например, за различными сторонами производственного процесса или количеством и категориями совершенных сделок по разным регионам). Анализ, проводимый методами OLAP может быть как простым (например, таблицы частот, описательные статистики, простые таблицы), так и достаточно сложным (например, он может включать сезонные поправки, удаление выбросов и другие способы очистки данных). Хотя методы Data Mining можно применять к любой, предварительно не обработанной и даже неструктурированной информации, их можно также использовать для анализа данных и отчетов, полученных средствами OLAP, с целью более углубленного исследования, как правило, в более высоких размерностях. В этом смысле методы Data Mining можно рассматривать как альтернативный аналитический подход (служащий иным целям, нежели OLAP) или как аналитическое расширение систем OLAP. РАД и проверка гипотез В отличие от традиционной проверки гипотез, предназначенной для проверки априорных предположений, касающихся связей между переменными (например, "Имеется положительная корреляция между возрастом человека и его/ее нежеланием рисковать"), разведочный анализ данных (РАД) применяется для нахождения связей между переменными в ситуациях, когда отсутствуют (или недостаточны) априорные представления о природе этих связей. Как правило, при разведочном анализе учитывается и сравнивается большое число переменных, а для поиска закономерностей используются самые разные методы. Вычислительные методы РАД Вычислительные методы разведочного анализа данных включают основные статистические методы, а также более сложные, специально разработанные методы многомерного анализа, предназначенные для отыскания закономерностей в многомерных данных. Основные методы разведочного статистического анализа. К основным методам разведочного статистического анализа относится процедура анализа распределений переменных (например, чтобы выявить переменные с несимметричным или негауссовым распределением, в том числе и бимодальные), просмотр корреляционных матриц с целью поиска коэффициентов, превосходящих по величине определенные пороговые значения (см. предыдущий пример), или анализ многовходовых таблиц частот (например, "послойный" последовательный просмотр комбинаций уровней управляющих переменных). Методы многомерного разведочного анализа. Методы многомерного разведочного анализа специально разработаны для поиска закономерностей в многомерных данных (или последовательностях одномерных данных). К ним относятся: кластерный анализ, факторный анализ, анализ лискриминантных функций, многомерное шкалирование, логлинейный анализ,канонические корреляции, пошаговая линейная и нелинейная (например, логит) регрессия, анализ соответствий, анализ временных рядов. Нейронные сети. Этот класс аналитических методов основан на идее воспроизведения процессов обучения мыслящих существ (как они представляются исследователям) и функций нервных клеток. Нейронные сети могут прогнозировать будущие значения переменных по уже имеющимся значениям этих же или других переменных, предварительно осуществив процесс так называемого обучения на основе имеющихся данных. Предварительное исследование данных может служить лишь первым этапом в процессе их анализа, и пока результаты не подтверждены (методами кросс-проверки) на других фрагментах базы данных или на независимом множестве данных, их можно воспринимать самое большее как гипотезу. Если результаты разведочного анализа говорят в пользу некоторой модели, то ее правильность можно затем проверить, применив ее к новым данных и определив степень ее согласованности с данными (проверка "способности к прогнозированию"). Для быстрого выделения различных подмножеств данных (например, для очистки, проверки и пр.) и оценки надежности результатов удобно пользоваться условиями выбора наблюдений.
В STATISTICA реализованы классические методы кластерного анализа, включая методы k-средних, иерархической кластеризации и двухвходового объединения.
Данные могут поступать как в исходном виде, так и в виде матрицы расстояний между объектами.
Наблюдения и переменные можно кластеризовать, используя различные меры расстояния (евклидово, квадрат евклидова, манхэттеновское, Чебышева и др.) и различные правила объединения кластеров (одиночная, полная связь, невзвешенное и взвешенное попарное среднее по группам и др.).
Исходный файл данных содержит следующую информацию об автомобилях и их владельцах:
Целью данного анализа является разбиение автомобилей и их владельцев на классы, каждый из которых соответствует определенной рисковой группе. Наблюдения, попавшие в одну группу, характеризуются одинаковой вероятностью наступления страхового случая, которая впоследствии оценивается страховщиком.
Использование кластер-анализа для решения данной задачи наиболее эффективно. В общем случае кластер-анализ предназначен для объединения некоторых объектов в классы (кластеры) таким образом, чтобы в один класс попадали максимально схожие, а объекты различных классов максимально отличались друг от друга. Количественный показатель сходства рассчитывается заданным способом на основании данных, характеризующих объекты.
Все кластерные алгоритмы нуждаются в оценках расстояний между кластерами или объектами, и ясно, что при вычислении расстояния необходимо задать масштаб измерений.
Поскольку различные измерения используют абсолютно различные типы шкал, данные необходимо стандартизовать (в меню Данные выберете пункт Стандартизовать ), так что каждая переменная будет иметь среднее 0 и стандартное отклонение 1.
Таблица со стандартизованными переменными приведена ниже.
На первом этапе выясним, формируют ли автомобили "естественные" кластеры, которые могут быть осмыслены.
Выберем Кластерный анализ в меню Анализ - Многомерный разведочный анализ для отображения стартовой панели модуля Кластерный анализ . В этом диалоге выберем Иерархическая классификация и нажмем OK .
Нажмем кнопку Переменные , выберем Все , в поле Объекты выберем Наблюдения (строки ). В качестве правила объединения отметим Метод полной связи , в качестве меры близости - Евклидово расстояние . Нажмем ОК .
Метод полной связи определяет расстояние между кластерами как наибольшее расстояние между любыми двумя объектами в различных кластерах (т.е. "наиболее удаленными соседями").
Мера близости, определяемая евклидовым расстоянием, является геометрическим расстоянием в n- мерном пространстве и вычисляется следующим образом:
Наиболее важным результатом, получаемым в результате древовидной кластеризации, является иерархическое дерево. Нажмем на кнопку Вертикальная дендрограмма .
Вначале древовидные диаграммы могут показаться немного запутанными, однако после некоторого изучения они становятся более понятными. Диаграмма начинается сверху (для вертикальной дендрограммы) с каждого автомобиля в своем собственном кластере.
Как только вы начнете двигаться вниз, автомобили, которые "теснее соприкасаются друг с другом" объединяются и формируют кластеры. Каждый узел диаграммы, приведенной выше, представляет объединение двух или более кластеров, положение узлов на вертикальной оси определяет расстояние, на котором были объединены соответствующие кластеры.
Исходя из визуального представления результатов, можно сделать предположение, что автомобили образуют четыре естественных кластера. Проверим данное предположение, разбив исходные данные методом К средних на 4 кластера, и проверим значимость различия между полученными группами.
В Стартовой панели модуля Кластерный анализ выберем Кластеризация методом К средних .
Нажмем кнопку Переменные и выберем Все , в поле Объекты выберем Наблюдения (строки ), зададим 4 кластера разбиения.
Метод K-средних
заключается в следующем: вычисления начинаются с k случайно выбранных наблюдений (в нашем случае k=4), которые становятся центрами групп, после чего объектный состав кластеров меняется с целью минимизации изменчивости внутри кластеров и максимизации изменчивости между кластерами.
Каждое следующее наблюдение (K+1) относится к той группе, мера сходства с центром тяжести которого минимальна.
После изменения состава кластера вычисляется новый центр тяжести, чаще всего как вектор средних по каждому параметру. Алгоритм продолжается до тех пор, пока состав кластеров не перестанет меняться.
Когда результаты классификации получены, можно рассчитать среднее значение показателей по каждому кластеру, чтобы оценить, насколько они различаются между собой.
В окне Результаты метода К средних выберем Дисперсионный анализ для определения значимости различия между полученными кластерами.
Итак, значение р<0.05, что говорит о значимом различии.
Нажмем кнопку Элементы кластеров и расстояния для просмотра наблюдений, входящих в каждый из кластеров. Опция также позволяет отобразить евклидовы расстояния объектов от центров (средних значений) соответствующих им кластеров.
Первый кластер:
Второй кластер:
Третий кластер:
Четвертый кластер:
Итак, в каждом из четырех кластеров находятся объекты со схожим влиянием на процесс убытков.
