Что показывают ошибки репрезентативности
Пример об ошибке репрезентативности
Лекция 4.1 Выборочный метод
К настоящему времени Вы заработали баллов: 0 из 0 возможных.
ГЕНЕРАЛЬНАЯ И ВЫБОРОЧНАЯ СОВОКУПНОСТЬ
Генеральная совокупность носит гипотетический характер. Она представляет собой совокупность всех мыслимых наблюдений, которые могли бы быть произведены при данных условиях. Даже если бы у нас была возможность провести сплошное исследование всей совокупности признака, все равно в нее не попали бы объекты, которое по какой то причине отсутствуют на текущий момент, но должны были существовать при данных условиях.
Та часть объектов, которая отобрана для непосредственного изучения, называется выборочной совокупностьюили выборкой
Сущность выборочного метода
Сущность выборочного метода состоит в том, чтобы по некоторой части генеральной совокупности выносить суждение о её свойствах в целом
Чтобы по данным выборки иметь возможность судить о генеральной совокупности, она должна быть репрезентативной(представительной).
Репрезентативная выборка сохраняет и повторяет структуру генеральной совокупности.
Если две выборки взяты из одной генеральной совокупности, то разница в получаемых оценках (например, средних) будет носить случайный характер, как следствие ошибки репрезентативности
Ошибка репрезентативности возникает по причине того, что мы исследуем не всю совокупность, а только её части (выборки). Мы получаем случайную комбинацию элементов из генеральной совокупности.
Для того, чтобы минимизировать различия однородных (взятых из одной генеральной совокупности) выборок необходимо правильным образом их формировать.
Наилучшим способом формирования репрезентативной выборки является случайный отбор элементов из генеральной совокупности без расчленения на части или группы (случайная выборка).
Пример об ошибке репрезентативности
Рассмотрим следующий пример.
Исследователь задался вопросом: «существуют ли различия в эмпатических способностях между психологами и педагогами?». Для того чтобы это прояснить он набрал две группы испытуемых в соответствии с их профессиональной деятельностью и предложил им заполнить опросник на эмпатические способности. Далее, он рассчитал среднее значение в каждой группе.
Если бы представители этих профессий не отличались по изучаемому признаку, тогда разница в средних равнялась бы нулю.
Однако, можно ли считать эту разницу в 2,3 балла достаточной, чтобы судить о реальных различиях между группами? Может сложится так, что психологи и педагоги по эмпатии в реальности не отличаются (выборки однородны), а разница в 2,3 балла, полученная исследователем носит случайный характер, как ошибка репрезентативности.
Таким образом, мы можем сформулировать две гипотезы:
Гипотезы являются альтернативами по отношению к друг другу. Принятие одной из них как верной влечет за собой исключение «истинности» другой.
СТАТИСТИЧЕСКАЯ ГИПОТЕЗА
Статистическая гипотеза – это любое предположение о виде или параметрах неизвестного закона распределения (закона распределения генеральной совокупности)
В статистике принято формулировать пару гипотез. Первая гипотеза называется нулевой, а вторая – альтернативной.
| Нулевая гипотеза Н0 | Альтернативная гипотеза Н1 |
| 1. 1. Является проверяемой 2. Обычно гипотеза об отсутствии явления (например, различий или зависимости) | Является логическим отрицанием нулевой |
| Поскольку нулевая гипотеза является проверяемой, то её можно отвергать и принимать | Альтернативную гипотезу принимают как следствие отрицания нулевой гипотезы |
пример:
· Н0 (нулевая): Женщины не отличаются от мужчин по среднему уровню развития эмпатических способностей (средние значения равны)
· Н1 (альтернативная): Средний уровень эмпатических способностей выше у женщин по сравнению с мужчинами
пример:
· Н0 (нулевая): Линейная корреляция между самооценкой и тревожностью равна 0
· Н1 (альтернативная): Самооценка отрицательно связана с тревожностью (линейная корреляция меньше нуля / чем выше самооценка, тем ниже тревожность и наоборот)
Вопрос:Какая из двух формулировок соответствует нулевой гипотезе Н0?
· А) между психологами и педагогами нет различий по среднему уровню выраженности эмпатии
· Б) между психологами и педагогами есть различия по среднему уровню выраженности эмпатии
Статистический критерий
Правило, по которому нулевая гипотеза отвергается или принимается, называется статистическим критерием.
Статистика – это специально составленная выборочная характеристика (распределение), у которой есть критическое значение такое, что если верна нулевая гипотеза, то вероятность (α) того, что случайная величина превысит это критическое значение, мала (Кремер Н.Ш., 2004).
Критическое значение делит распределение «нулевой гипотезы» на две области: область допустимых значений и область критических значений
Таким образом, критические значения позволяют исследователю либо принять, либо отвергнуть нулевую гипотезу.
В математической статистике можно подбирать критические значение для разных альфа-уровней (уровней значимости). Чаще всего:
1. Критическое значение, которое выделяет критическую область с вероятностью α
Определение ошибки репрезентативности (m)
Ошибка репрезентативности (m) показывает, насколько результаты полученные при выборочном исследовании, отличаются от результатов, которые могли бы быть получены при проведении сплошного исследования (генеральная совокупность).
Взаимосвязь объёма выборки и репрезентативности
· Репрезентативность не зависит от объема выборки. Репрезентативность достигается только тогда, когда в выборку отобраны объекты из разных групп, при условии, что их доли в генеральной и выборочной совокупности равны. Репрезентативность выборки зависит только от методики отбора единиц из генеральной совокупности в выборочную совокупность и не зависит от объема. Конечно, чем больше объем выборки, тем выше ее точность, однако, неверно распределенная выборка в 5000 единиц намного хуже, чем хорошо распределенная выборка в 500 единиц.
· Чем более однородна генеральная совокупность, тем меньший объем выборочной совокупности потребуется для получения точных результатов. Если, например, в генеральной совокупности все респонденты имеют одинаковый доход, то будет достаточно опросить одного респондента, чтобы узнать средний доход по совокупности. Чтобы определить вкус каши достаточно съесть одну ложку, а не всю тарелку, конечно, при условии, что каша хорошо перемешана.
При правильно составленной выборочной совокупности можно получить достаточно полное представление о закономерностях, присущих всей генеральной совокупности. Основным правилом составления выборочной совокупности является обеспечение ее репрезентативности, т.е. соответствия данных выборочной и генеральной совокупностей.
Выборочная совокупность должна быть представительной или репрезентативной (способность быть отражением генеральной совокупности), для чего необходимы следующие требования:
· обладать характерными чертами генеральной совокупности, т.е. по составу быть максимально похожей на неё;
· достаточной по объему, т.е. по числу наблюдений.
Формула ошибки репрезентативности (m) для относительных величин:
или 
, если число наблюдений менее 30 случаев,
Р – величина показателя;
q=100–P, если показатель рассчитан на 100;
q=1000 –P, если показатель вычислен на 1000, и т.д.;
n – число наблюдений.
Например: работающих на предприятии – 1400 человек (n), имеющих гипертоническую болезнь (ГБ) – 44 человека.
Показатель заболеваемости ГБ
на 100 работающих, далее вычисляем по формуле
.
Вывод: результаты выборочной совокупности по определению ГБ на предприятии отличаются от генеральной совокупности на ± 0,46 (средняя ошибка ± 0,46).
Формула (m) для средней величины: 
или 
, если число наблюдений меньше 30.
Например, у 49 больных (n) гастритом уровень пепсина М=1,0 г%, σ = ±0,35 г%
г%
Вывод: результаты выборочной совокупности по определению уровня пепсина у 49 больных гастритом отличаются от генеральной совокупности (если бы исследования проводились у всех больных гастритом) на ± 0,05 (средняя ошибка ± 0,05).
Примечание: среднее квадратическое отклонение (σ)характеризует степень рассеивания вариант вокруг средней арифметической (смотри тему №3). Вычисляют по формуле: 
Амплитуда ряда (см. тему №4)
К – «коэффициент К», (см. приложение №3).
Доверительные границы (М, P) средних и относительных величин –это границы относительных или средних величин размеров признака выход за пределы которых, вследствие случайных колебаний, имеет незначительную вероятность.
Доверительные границы для средней величины по формуле:
Мген., выб. – доверительные границы средней величины генеральной и выборочной совокупности,
t – доверительный критерий (устанавливается исследователем, но должен быть не меньше 2, смотри ниже),
m – ошибка репрезентативности.
Доверительные границы для относительной величины по формуле:
Pген.,выб. – доверительные границы относительной величины генеральной и выборочной совокупности;
t – доверительный критерий (устанавливается исследователем, но должен быть не меньше 2, смотри ниже);
m – ошибка репрезентативности.
Δ = tm (максимально возможная погрешность оценки генеральной совокупности),
t – доверительный критерий (устанавливается исследователем, но должен быть не меньше 2, смотри ниже);
m – ошибка репрезентативности.
Вероятность безошибочного прогноза (p) – это вероятность, с которой можно утверждать, что в генеральной совокупности относительных или средних величин (P, M) показатели будут находиться в пределах ±tm. Для медицинских исследований степень вероятности безошибочного прогноза (p) должна быть не менее 95%, т.е отображать объективную реальность проведенных исследований на 95%, тогда t=2 (см. ниже).
Зависимость доверительного критерия от степени вероятности безошибочного прогноза p (при n>30)
Ошибка репрезентативности, методика вычисления ошибки средней и относительной величины.
Оценка достоверности результатов исследования предусматривает определение:
1. ошибки репрезентативности
2. доверительных границ средних (или относительных) величин в генеральной совокупности
3. достоверности разности средних (или относительных) величин (по критерию t)
Расчет ошибки репрезентативности (mм) средней арифметической величины (М):
Расчет ошибки репрезентативности (mР) относительной величины (Р):
В клинических и экспериментальных работах довольно часто приходится использовать малую выборку, когда число наблюдений меньше или равно 30. При малой выборке для расчета ошибок репрезентативности, как средних, так и относительных величин, число наблюдений уменьшается на единицу, т.е.
; 
.
Величина ошибки репрезентативности зависит от объема выборки: чем больше число наблюдений, тем меньше ошибка. Для оценки достоверности выборочного показателя принят следующий подход: показатель (или средняя величина) должен в 3 раза превышать свою ошибку, в этом случае он считается достоверным.
Знание величины ошибки недостаточно для того, чтобы быть уверенным в результатах выборочного исследования, так как конкретная ошибка выборочного исследования может быть значительно больше (или меньше) величины средней ошибки репрезентативности. Для определения точности, с которой исследователь желает получить результат, в статистике используется такое понятие, как вероятность безошибочного прогноза, которая является характеристикой надежности результатов выборочных медико-биологических статистических исследований. Обычно, при проведении медико-биологических статистических исследований используют вероятность безошибочного прогноза 95% или 99%. В наиболее ответственных случаях, когда необходимо сделать особенно важные выводы в теоретическом или практическом отношении, используют вероятность безошибочного прогноза 99,7%
Используя предельную ошибку выборки (Δ), можно определить доверительные границы, в которых с определенной вероятностью безошибочного прогноза заключено действительное значение статистической величины, характеризующей всю генеральную совокупность (средней или относительной).
Для определения доверительных границ используются следующие формулы:
1) для средних величин:
2) для относительных величин:
Доверительные границы показывают, в каких пределах может колебаться размер выборочного показателя в зависимости от причин случайного характера.
Ошибки репрезентативности
2. Ошибки репрезентативности
Между характеристиками выборочной совокупности и искомыми параметрами генеральной совокупности, как правило, существует некоторое расхождение, которое называют ошибкой.
Общая величина возможной ошибки выборки слагается из ошибок двоякого рода:
Ошибки регистрации свойственны всякому статистическому наблюдению и их появление может быть вызвано несовершенством измерительных приборов, недостаточной квалификацией наблюдателя, недостаточной точностью подсчетов и т.п. Можно полагать, что по сравнению со силошными наблюдениями опасность возникновения ошибок регистрации при выборочном наблюдении должна быть меньше, так как они проводятся более квалифицированными работниками.
Значительно уменьшается при выборочном наблюдении и опасность преднамеренных искажений данных, так как специально подобранные и обученные наблюдатели в них не заинтересованы.
Ошибками репрезентативности называют расхождения между средними величинами или долями признака выборочной и генеральной совокупности. Они присущи только несилошным наблюдениям. Ошибки репрезентативности могут быть:
Систематическими называются ошибки, которые возникают из-за нарушения научного принципа отбора единиц в выборочную совокупность. Они возникают в тех случаях, когда в результате непрпавильного отбора в выборочную совокупность попали наилучшие или наихудшие единицы.
В результате такого отбора средние и относительные показатели, полученные по выборочной совокупности, будут искаженно характеризовать генеральную совокупность.
Случайные ошибки репрезентативности – это неточности, которые возникают из-за того, что выборочная совокупность не совсем правильно отражает средние величины и величины доли признака генеральной совокупности. Такие ошибки возникают даже при самом строгом соблюдении принципов и правил отбора единиц в выборочную совокупность.
Ошибки репрезентативности свойственны только выборочному наблюдению. Они не могут быть полностью устранены, но они могут быть доведены до незначительных размеров, если соответствующим образом организовать отбор единиц в выборочную совокупность.
Пределы ошибок репрезентативности можно определить с достаточной степенью точности на основании ряда теорем в теории вероятности и математической статистике.
Исключительно важную роль для обоснования и применения выборочного наблюдения играет закон больших чисел. Использование законы больших чисел состоит в том, что при определенных условиях и при достаточно большом объеме наблюдений сводные характеристики, полученные на основе выборочного наблюдения, будут мало отличаться от соответствующих характеристик генеральной доверенности. Основываясь на этом, можно, увеличивая объем выборочной совокупности, уменьшить пределы возможных ошибок репрезентативности, довести их до наименьших размеров. С другой стороны, зная пределы ошибок репрезентативности, можно определить необходимую численность выборочной совокупности.
3. Измерение ошибки выборки
Величина ошибки выборки зависит от численности выборочной совокупности и от степени колеблемости изучаемого признака.
Зависимость величины ошибки выборки: одна формула применяется при выборочном определении средней величины признака, а другая – при выборочном определении доли признака. Доказательства и вывод этих формул даются в курсах математической статистики.
Формула средней ошибки выборки при определении средней величины признака имеет следующий вид:
n – число единиц в выборочной совокупности.
Следовательно, средняя ошибка выборки равна корню квадратному из дисперсии признака, деленной на численность выборочной совокупности. Это значит, что ошибка выборки уменьшается при уменьшении колеблемости признака, а также при увеличении выборочной совокупности. Это означает также, что при уменьшении колеблемости признака можно уменьшить объем выборки.
Формула средней ошибки выборки при определении доли признака такова:
p –доля признака в генеральной совокупности;
n – число единиц в выборочной совокупности.
Вышеприведенные формулы ошибки выборки применяются, когда отбор единиц в выборочную совокупность производится в порядке случайной повторной выборки. Повторная выборка называется потому, что каждая из единиц, отобранная из генеральной совокупности, после регистрации ее признаков возвращается обратно и может при каждом последующем отборе попасть в выборку еще раз, т.е. повторно. Практически случайная повторная выборка встречается сравнительно редко. Большей частью имеют дело со случайной бесповторной выборкой. Бесповторная выборка называется потому, что каждая из единиц после регистрации ее признаков обратно не возвращается и в дальнейшем уже в отборе не существует.
При бесповторной выборке сокращается численность единиц генеральной совокупности. Поэтому при определении ошибки выборочной средней и доли признака при бесповторном отборе должна быть учтена численность генеральной совокупности и доля выборки.
Генеральную совокупность обозначим через N, тогда доля выборочной совокупности n, будет равна 
. Поэтому в формулу ошибки выборки при повторном отборе должен быть введен дополнительный множитель 
. Тогда формулы ошибок выборки бесповторного отбора примут следующий вид:
для определения ошибки выборочной средней:
для определения ошибки выборочной доли:
Дополнительный множитель всегда будет меньше 1. Например, при 20%-ой выборке доля выборочной совокупности =0,2, а дополнительный множитель =1,0-0,2=0,8.
Покажем расчет ошибки выборочной средней и доли признака по данным, приведенным в табл.1.
Отбор участков в примере производится по схеме бесповторной выборки. Из 300 участков было отобрано 30, т.е. доля участков, попавших в выборочную совокупность составляла =
=0,1 или 10%. Дополнительный множитель =1,0-0,1=0,9.
Определим ошибку средней урожайности по участкам, попавшим в выборку:
Полученная величина ошибки выборки показывает, что средняя урожайность на участках, попавших в 10% выборку, может на ±0,12 ц с 1 га отличаться от генеральной средней, или, иначе говоря, можно ожидать, что средняя урожайность в генеральной совокупности будет находится между 15,12 (15+0,12) и 14,88 (15-0,12) ц с 1 га.
Ошибка выборочной доли – доли участков с урожайностью 15 и более центнеров с 1 га:
Полученная величина ошибки выборки показывает, что доля участков с урожайностью 15 ц с 1 га в общем числе участков может отклоняться на ±0,07 от доли участков с подобной урожайностью во всей генеральной совокупности.
Можно ожидать, что доля участков с урожайностью 15 и более ц с 1 га будет находится в генеральной совокупности между 0,80 (0,73+0,07) и 0,66 (0,73-0,07).
При этом возникает вопрос: обязательно ли или лишь с определенной степенью вероятности средняя или доля в генеральной совокупности расположатся в диапазонах, определяемых средней ошибкой выборки, с вероятностью 0,683.
Это нас подводит к еще одному показателю ошибки выборки – предельной ошибки выборки.
Предельная ошибка выборки – показатель, характеризующий диапазон, в котором по обе стороны от выборочной средней или выборочной доли расположатся значения генеральной средней или генеральной доли, гарантируемые с определенной степенью вероятности.
Формула предельной ошибки выборки:
t – коэффициент доверия, которорму соответствуют вероятности предельной ошибки выборки;
Величины вероятности, соответствующие коэффициентам доверия, устанавливаются математической статистикой. Так, например, t = 1 соответствует вероятность 0,683; t = 2 соответствует вероятность 0,954; t = 3 – вероятность 0,997 и т.д.
Если нам надо диапазон, в котором расположатся генеральная средняя и генеральная доля, определить с большой степенью вероятности, то этот диапазон должен быть расширен. Так, например, если мы должны вероятность определения этого диапазона в условиях нашего примера довести до 0,997, то среднюю ошибку выборки надо умножить на t = 3,
D = tm = ± 0,12 ц с 1 га ´ 3 = ± 0,36 ц с 1 га.
Формулы предельных ошибок выборки:
при повторном отборе:
а) для средней D = tm = t 
,
б) для доли D = tm = t
;
при бесповторном отборе:
а) для средней D = tm = t 
,
б) для доли D = tm = t
.
4. Определение необходимой численности выборки
Одной из наиболее важных и ответственных задач при организации и проведении выборочного наблюдения является установление необходимой численности выборочной совокупности, т.е. такой ее численности, которая обеспечивала бы получение данных, достаточно правильно отражающих изучаемые свойства генеральной совокупности.
При этом должно быть учтено: 1) с какой степенью точности следует получить предельную ошибку выборки; 2) какова должна быть вероятность того, что будет обеспечена обусловленная точность результатов выборочного наблюдения; 3) степень колеблемости изучаемых свойств в исследуемой генеральной совокупности.
Это значит, что необходимая численность выборки (n) устанавливается в зависимости от размеров предельной ошибки выборки (D), от величины коэффициента доверия (t) и от размеров величины дисперсии (s 2 ).
Сами формулы необходимой численности выборки выводятся из формул предельной ошибки выборки следующим образом:
При повторном отборе:
в формуле предельной ошибки выборки
D = t
обе ее стороны возводим в квадрат
D 2 = t 2 
D 2 = 
n = 
Таким образом, необходимая численность выборочной совокупности равна произведению квадрата коэффициента доверия и дисперсии признака, деленному на квадрат предельной ошибки выборки.
в формуле предельной ошибки выборки:
D = t;
обе ее стороны возводим в квадрат и получим:
D 2 = t 2 
D 2 = 
n = 
.
Таким образом, в этом случае необходимая численность выборочной совокупности равна произведению квадрата коэффициента доверия и дисперсии доли, деленному на квадрат предельной ошибки выборки.
При бесповторном отборе:
в формуле предельной ошибки выборки
D = t ,
после ряда преобразований получаем:
n = 
;
из формулы предельной ошибки выборки:
D = t
;
после ряда преобразований получаем:
n = 
.
Пример определения необходимой численности выборочной совокупности исходя из условий повторного отбора. Допустим, что с вероятностью 0,954 требуется определить фактический средний диаметр выпускаемой в одном из цехов детали при условии, что предельная ошибка выборки не должна превышать 0,2 см и зная, что дисперсия размеров диаметра детали составляет 0,5 см. Таким образом:
D = 0,2; s 2 = 0,5; t = 2.
n = 
.
Следовательно, на выборку в порядке случайного отбора должно быть отобрано 50 деталей. Если всего произведено 5000 таких деталей, то доля выборки составляет 
=0,01 или 1%.
Так как в данном примере доля выборки очень небольшая, то расчет, полученный по формуле повторной выборки, может быть применен и для выборки бесповторной. Таким образом, для выборочной проверки должна быть отобрана каждая 100-я деталь.