КАТЕГОРИЯ:


Астрономия- (809) Биология- (7483) Биотехнологии- (1457) Военное дело- (14632) Высокие технологии- (1363) География- (913) Геология- (1438) Государство- (451) Демография- (1065) Дом- (47672) Журналистика и СМИ- (912) Изобретательство- (14524) Иностранные языки- (4268) Информатика- (17799) Искусство- (1338) История- (13644) Компьютеры- (11121) Косметика- (55) Кулинария- (373) Культура- (8427) Лингвистика- (374) Литература- (1642) Маркетинг- (23702) Математика- (16968) Машиностроение- (1700) Медицина- (12668) Менеджмент- (24684) Механика- (15423) Науковедение- (506) Образование- (11852) Охрана труда- (3308) Педагогика- (5571) Полиграфия- (1312) Политика- (7869) Право- (5454) Приборостроение- (1369) Программирование- (2801) Производство- (97182) Промышленность- (8706) Психология- (18388) Религия- (3217) Связь- (10668) Сельское хозяйство- (299) Социология- (6455) Спорт- (42831) Строительство- (4793) Торговля- (5050) Транспорт- (2929) Туризм- (1568) Физика- (3942) Философия- (17015) Финансы- (26596) Химия- (22929) Экология- (12095) Экономика- (9961) Электроника- (8441) Электротехника- (4623) Энергетика- (12629) Юриспруденция- (1492) Ядерная техника- (1748) Arhitektura- (3434) Astronomiya- (809) Biologiya- (7483) Biotehnologii- (1457) Военни бизнесмен (14632) Висока technologies- (1363) Geografiya- (913) Geologiya- (1438) на държавата (451) Demografiya- ( 1065) Къща- (47672) журналистика и смирен (912) Izobretatelstvo- (14524) външен >(4268) Informatika- (17799) Iskusstvo- (1338) историята е (13644) Компютри- (11,121) Kosmetika- (55) Kulinariya- (373) културата е (8427) Lingvistika- (374) Literatura- (1642) маркетинг-(23702) математиците на (16968) Механична инженерно (1700) медицина-(12668) Management- (24684) Mehanika- (15423) Naukovedenie- (506) образователна (11852) truda- сигурност (3308) Pedagogika- (5571) Poligrafiya- (1312) Politika- (7869) Лево- (5454) Priborostroenie- (1369) Programmirovanie- (2801) производствено (97 182 ) индустрия- (8706) Psihologiya- (18388) Religiya- (3217) Svyaz (10668) Agriculture- (299) Sotsiologiya- (6455) на (42831) спортист строително (4793) Torgovlya- (5050) транспорт ( 2929) Turizm- (1568) физик (3942) Filosofiya- (17015) Finansy- (26596) химия (22929) Ekologiya- (12095) Ekonomika- (9961) Electronics- (8441) Elektrotehnika- (4623) Мощност инженерно ( 12629) Yurisprudentsiya- (1492) ядрена technics- (1748)

Лекция 17. Телефонът, пощенски и натиснете анкета в социологическите изследвания

1. Изследването на телефон в социологическите изследвания.

1 1. Контекст Проучването на телефон. Сега е невъзможно да се даде точна дата, когато първият в света кол-център. Основната трудност се крие във факта, че терминът "кол-център" много замъглено. Според експерти на списание "Sallcentermagazine" ранно образование, които имат нещо общо със съвременните кол-центрове са създадени в много малък брой места на оператора. Местните операциите телемаркетинг бяха извършени навсякъде, и бяха много различни. Човек може само да се предположи, че първите "неофициални» кол-центрове са родени някъде в края на 60-- началото на 70-те години на миналия век.

Телепродажби и сервизни центрове - всичко започна преди няколко десетилетия. Фирмите Rockwell Galaxy смятат, че те са инсталирани на първия автоматичен разпределител повикване (ACD) - продукт, предназначен изключително за кол-центрове. Това се е случило преди около 30 години, и означава, че идеята за създаване на кол-център в отговор на нуждите на пазара се появи и по-рано.

20 години на миналия век. Поява на първия агент-оператори, поради появата на телефони за настолни компютри в дружества. От тогава, основните функции на тези служители се включват не само "на живо" на комуникацията с клиентите и пощенската кореспонденция и телефонни разговори с тях.

1967. Услугата е много популярен през 70-те години на миналия век, когато технологията станаха широко разпространени маршрутизация телефонни разговори. В едно общество, толкова много се обичахме 800-та номера, че те скоро ще свършат, и трябваше да излезе с такива като номера "888", и други подобни.

Край на 60-те години. Нови телефонни оператори са послужили като "на живо" представителства и са били платени на по-висока скорост, отколкото обикновените офис работници. Тяхната заплата е свързана с работното време в офиса - прецедент, с който много мениджъри кол-център се борят досега.

25 Април 1988. NBC Телевизия Network стартира програма, наречена «Подчерта да убие», която в свободен превод може да се преведе като "измъчван до смърт". Разгледани са проблемите, свързани със стреса-оператор агент, който работи в телефонна компания кол-център. Тази програма е причинил широк отзвук и дебат за това какво трябва да бъде на стандартите и дали да се предположи, че операторите на кол-център работят в трудни условия и в същото време да получават малка заплата.



1998-1999 години. Известни автомобилни компании Daimler Chrylser и General Motors започна да преразгледа стратегията за подхода към клиентите. Големите автомобилни производители започнаха да прилагат в тяхната автомобили комуникационни центрове, система, интегрирана система за сателитна навигация, бордови диагностични системи - всички до шофьорът може да получи подходяща техническа или друга помощ от всяко място и по всяко време само с натискането на един бутон - един вид пътна кол-център. Този пример показва как да използвате кол-центрове на всяка организация може да се присъедини към редиците на фирми "нова икономика".

1,999. Предварителни продажби разочаровани поддръжници на балона на дот-ком. Поръчките се изпълняват със закъснение, ако не се извършват; стана ясно, "несъвместимост" място на продажба с уебсайта, клиентите не знаят къде да търсят решения на проблемите им. Няколко месеца по-късно, инвеститорите започнаха да се избегнат всички проекти, които започват с буквата «e-», акциите на интернет компаниите бързо започнаха да се превърне в обикновена хартия. Тази негативна по отношение на процеса на балон дот-ком е създал добри условия за развитие на кол-центрове, които по време на бума на дотком някак си забравил.

В САЩ, кол-центрове са се появили като конкретна област на пазара и технологиите по време, когато средствата за радио и телевизия и по-специално е станало възможно да се извършат огромни рекламни кампании, които предизвикаха много голям обем на оплаквания от потенциални клиенти, интересуващи се от тази реклама. Така се ражда необходимостта от ефективно средство за манипулиране на рекламни компании.

"Това е как да се развиват тези кол-центрове, като отделен бизнес, реклама като маркетингов инструмент, а след това излезе с това, че кол-центрове могат не само да вземат огромна сума за входящи повиквания, но също така и да се държат kakie-до маркетингови кампании, - казва Игор Maslennikov, "Komptek" бизнес развитие директор на компанията. Важното е, че той е разработен на няколко десетилетия в този дух, и с думите на кол-център е неизбежно свързано всяка стая, в която седи на няколко десетки или стотици оператори със слушалки. Тази концепция или парадигма на кол-центрове в последното десетилетие е променен значително. "

Обадете-центрове - един от видовете на телефон технология, която в САЩ, за разлика от Русия, са се развили много бързо. В резултат на това в САЩ, например, процедурата на телефонна комуникация изглежда различно. По-специално, в повечето случаи, приемникът не вземе "на живо" човек, както е прието в нашата страна, и на телефонния секретар, с които да се говори за Русия някак си не е прието.

"Имам чувството, че тези кол-центрове, които в миналото за първи път в Америка, е голям кол центрове, - казва Игор Maslennikov. Огромен компания, съответните решения, съответните подходи. От друга страна, телефон технология, малък и частно, като се започне от малки дома телефонни секретари, и образование на населението в духа на тези традиции. Струва ми се, в този момент, когато те започнаха да се развиват активно ИТ-технологиите, нещо "кликнали, whacko."

С развитието на разработчиците на компютърни технологии кол-център ще бъде примамлива идея: да се даде съществуващите телефонни системи известна интелигентност, като ги свързва с бази данни, информационни системи. По този начин, има опити да се автоматизират почти всяка телефонна комуникация. Особено успешно представлява реализацията на тези идеи в областта на бизнеса: стандартна комуникация, специфичен набор от видове приложения. Ясно е, че значителна част от бизнес контакти възможно типология и ги известна интерактивност направи.

"В исторически план, първите кол-центрове са поели един единствен избор: да ти се обадя - каза ти. След това те са имали друг компонент: събиране на информация за външния свят. Гледната точка се е променила: бизнес потребителите е видял, не като "празен диск", които се нуждаят от нещо, за да инвестират, както и като средство за обучение на собствен бизнес на пазара, отношението на хората към бизнес, бизнес да правят с хората - CRM концепцията и го отне. Не е случайно, когато думите на кол-център, както и думите на CRM », - твърди Игор Maslennikov.

Първите кол-центрове, които се появиха в Русия, са приблизително със същия "стар" тип, като в САЩ - големи стаи, пълни с операторите. Рекламни кампании, помощ бюро, рецепция - обхватът на приложение на тези центрове за повикване е очевидна: те се нуждаят, където важна ефективност и управляемостта на телефонната комуникация. Въпреки това, има много примери, когато се използва технологията на кол-център (или технологии, подобни на тях), за решаване на проблемите на различен вид - няма съобщения за записва информация на хората, и ги използват като средство за комуникация с външния свят и да събере информация за това.

Сега в Русия има немалко търговски кол-центрове, които използват аутсорсинг идея. Въпреки това, съществуват редица фирми с проблеми, които не могат да бъдат решени чрез конвенционални оператори кол-център.

"Основната идея на кол-център - е, на първо място, на IVR (Interactive Voice Response), която ви позволява да се спести време и подобряване на ефективността на операторите. На второ място, ACD - автоматично разпределение на разговори между операторите не е само на случаен принцип, и между определени групи, специализирани в тесни въпроси ", - каза Игор Maslennikov.

В момента в ход е процес на трансформация на индустриални общества в информация. В развитите страни, които работят в пейката, доменни пещи и други атрибути на индустриалното развитие са все по-малко важни, и в предните редици на информационните потоци, знания, умения. Промишленото производство изгонени от страната в по-слабо развитите страни.

"Все по-голям брой компании, в които служители на компанията са, всъщност, оператори, принадлежащи към някои група, която се занимава с редица въпроси. Значението на този модел в крайна сметка ще се увеличи. В крайна сметка, това е тази концепция е задължително да роди, и всяко дружество, ще се разглежда като кол-център ", - казва Игор Maslennikov.

Според разработчиците центрове за телефонно обслужване и интегратори, правителствени агенции (полиция, пожарна услуги, бърза помощ, спешна помощ и т.н.) също са активно се интересуват от и установяване на кол-центрове. Тези процеси са, за съжаление, по-видими в Казахстан, отколкото в Русия. Има две места са приложили кол-центрове в Министерството на вътрешните работи (Service 02). И за тях ще други агенции, твърдят доставчици.

1.2 Определение и основни характеристики на телефонно проучване. Проучването на телефон - специфичен синтез на въпросници и интервюта използва, като правило, в рамките на един град или друго населено място. Популярността на този метод в съвременните руски условия увеличава, особено по време на предизборни кампании. Ефектът от проучването на интервюиращия телефон е силно намалена.

Телефонни интервюта се отличават с вида на респондентите, интервюта с лица; интервю с субектите.

Провеждане на интервю по телефона включва няколко етапа:

1. Развитието на въпросници;

2. Вземане на проби: пробата може да бъде представител (в пълно съответствие с характеристиките на общото население, но по-малък) или мишена (когато интервюира само хора, които отговарят на определени критерии). Търсене респондентите, необходими за проучването, проведено през списъка с телефонни номера. Списъкът на телефонните номера на различни борси, съставен, като правило, специална компютърна програма, предварително с определена стъпка, в зависимост от размера на извадката;

3. обучение на анкетьорите;

4. Теренните изследвания и контрол на качеството. Проучването на телефон провежда от специално обучени анкетьори, които ще носят анкетираните отговори във формата (на хартиен или електронен, на екрана);

5. обработка на профили, диаграми, таблици и разпределенията: Данните, получени от анкетираните са подложени на статистическа обработка и анализ;

6. аналитично описание на резултатите от интервюто: резултатите от проучването на клиента се дава доклад, съдържащ графики и таблици с разпределенията на отговорите на различните групи потребители по въпросите на научните изследвания профили, както и основните изводи.

Провеждане на телефонни интервюта на представителна извадка е възможно само в тези населени места, където телегъстотата от над 75%. В противен случай, информацията ще бъде ненадеждни.

За справка: на кабелен телефон е само при 30% от руските семейства, живеещи в градските райони, и само 11% от семействата, живеещи в селата. От гледна точка на човек от населението наличността на жични телефони Русия е около 20%. Само в Санкт Петербург и Москва, телефони, повече от 80% от апартаментите.

Задължителни изисквания за метода:

1. предварителни карти изследване на града, места за контакт настаняване представители на различни социални групи, местоположението на PBX;

2. Развитието на специални инструменти, включително форми проучването картограма на въпросника и кодиране на листове, дневник и протокол проучване, пълни инструкции на анкетьорите;

3. Наличието на телефонни указатели;

4. съответствие с предварително определена посока на движението (интервал) при набиране на телефонна централа;

5. специална подготовка, включително специфично обучение на анкетьорите;

6. повишените изисквания за тяхната цялост;

7. задължително наблюдение на дейността им;

8. двойна проверка на данните, получени чрез викторини примерни изследваните абонати.

Телефон проучвания могат да се използват за следните задачи:

1. Описанието на целевата група на предпочитанията на продукта или услугата
проучване на общественото мнение,

2. оценка на продукти или услуги на пазара на капацитет,

3. описание на механизма на вземане на решения за покупка на даден продукт или услуга,

4. Описанието на социално-демографски и други характеристики на целевата група от стоки или услуги на потребителите,

5. идентифициране на нуждите на предприятието клиенти допълнителни услуги или стоки;

6. Проучването на бизнес становище по въпроси, свързани с юридически лица.

7. Оценката на ефективността на рекламните кампании или единен рекламен канал и др.

Когато създавате профили за изследване на телефон трябва да бъде особено внимателна към това как са формулирани въпросите. Това не е важно само да отсъствието на предубедени изрази, разговорен реч е кратко, но има и чисто фонетични изисквания, като например необходимостта да се избегне непроизносимо и лошо възприема от слуха думи, а дори и комбинации от букви, като в текста на песента, предназначени да се извърши по радиото и да стане популярен, защото и в двата случая, цялата информация, която се вижда само от ухото, и съответните човешки възможности са ограничени.

За да се намали вероятността от грешки при интервюиране на профили на местоположението на текста на страницата е подчинено на определени правила, едно и също. Почти всеки въпрос, който включва четири различни опции за съдържание "нестандартни" отговор. Първо, "друг отговор", интервюиращият се отбележи, че алтернатива в случая, когато отговорът на респондента не би могла да отговори на предложената схема инициаторите. Второ, всеки от трите варианта за липсата на отговор: 1) "неразбиране на въпроса," когато ответникът пряко и непосредствено изразена липсата на разбиране, или се опитва да не отговори на въпрос; 2) "отказват да отговоря", когато ответникът ясно изразено нежелание да отговори на конкретен въпрос; и 3) "Нямам мнение", ответникът не направи окончателния избор в полза на един от предложените алтернативи. Текстът на профилите на тези четири допълнителни възможни отговора винаги са били разположени под "съдържание" на алтернативи и, независимо от броя на последните, имахме постоянен, еднакъв за всички въпроси от всички профили стаи (то улеснява влизането и по-нататъшната обработка на данни от проучвания). Например:

4. Какво мислите, трябва ли да се сключи нов договор за съюз между републиките или не:

1. Направете?

2. Не трябва да бъде?

6. Липсата на разбиране на смисъла на въпроса

7. Отказ

8. Другият отговор

9. Трудно е да се отговори на

Освен това, както може да се види в този пример, ние сме използвали за определена цел препинателни знаци: "?" На поставяне на въпрос не е в края, но едва в края на някои възможни отговори. Това служи като сигнал към интервюиращия, че само тези алтернативи трябва да се четат на глас, а останалите (във всички случаи на "нестандартни" опции, понякога други) интервюиращият не беше да се произнася, но себе си може да реши кой да се отбележи, на базата на реакцията на интервюирания ,

Вашият въпрос написан с главни букви, и алтернативи - малки букви, което намалява времето, необходимо за разбирането на въпросника на интервюиращия време, и намалява вероятността от объркване.

Препоръки за развитието на въпросник за телефонно проучване.

Започнете проучването с прости, интересни, лесни въпроси. Прости въпроси
допринася за подготовката на съгласие от страна на респондента да участват в интервюто. те
Той потвърждава, че задачата на участника е модула. Респондентите се чувстват уверени, толкова по-вероятно те ще се съгласят да участват в изследователски
и да попълните въпросника. Практика телефонно проучване показва, че около 10% -15% от анкетираните отказват допълнителни интервюта след 4-5 въпрос;

Група въпросите на същата тема; завърши една тема, преди да преминат към следващата. По време на интервюто респондентите често са помолени
за нещата, които те не са се обръща внимание. Поради това, ответникът следва да бъде дадена възможност да разгледа въпроса. Ако те са вече обмисля някои тема, важно е да се съсредоточи върху него. Това помага да се гарантира по-смислени отговори. Скочи от една тема към друга без да се спази логическа последователност може да натиснете на повърхностни, празни отговори по време на телефонно интервю;

Позовавайки се на конкретна тема, първо да поиска общи въпроси, постепенно придвижване към реалността. Общи въпроси се запознават с темата на ответника
и се съсредоточи мислите си в определена посока. Как только внимание респондента сконцентрировано, ему легче отвечать на конкретные вопросы, требующие припоминания деталей.

Сложные или деликатные вопросы располагайте в конце анкеты . Можно надеяться, что к концу беседы между интервьюером и респондентом установится своеобразная связь, которая поможет получить от респондента ответы на вопросы подобного рода. Установление доверительной связи невозможно при проведении телефонного опроса, но в этом случае организаторы опроса рассчитывают, что, дойдя до последних пунктов, респондент, потративший время на заполнение почти всей анкеты, уделит несколько минут и оставшимся вопросам.

Не размещайте в начале анкеты вопросов, способных исказить ответы на последующие вопросы. Следует учитывать, что вопросы, помещенные в начале анкеты, не должны служить подсказкой для последующих вопросов. Например, вопрос: "Как бы вы оценили очищающий эффект каждого из этих трех моющих средств?" подскажет ответ на вопрос, помещенный далее в анкете: "Какое из свойств используемого вами моющего средства следует, на ваш взгляд, улучшить?"

Размещайте первыми наиболее важные темы. Очевидно, что качество ответов ухудшается по мере утомления респондента. Поэтому вопросы, направленные на получение наиболее важной информации, должны размещаться в начале анкеты.

Исследование , проводимое методом телефонного опроса , позволяет использовать различные типы выборок — как репрезентативные, так и направленные. Выборка – любая подгруппа совокупности случаев (объектов), выделенная для анализа. Если задачей исследования является получение информации по всей генеральной совокупности, то используется статистически репрезентативная выборка, представляющая собой модель изучаемой генеральной совокупности (для этого, например, используется квотирование выборки по полу и возрасту населения и одновременно обеспечивается случайный отбор респондентов в выборку).

Если распространять данные по выборке на всю генеральную совокупность не требуется, или представляется очень затруднительным обеспечить статистическую репрезентативность выборки, то используется направленная выборка.

Размер выборки существенно зависит от размера генеральной совокупности и требуемого для исследования уровня надежности данных. Объем статистически репрезентативной выборки в зависимости от задач исследования , структуры выборки, может быть от 200 до 2000 респондентов (для Уфы и Республики). Объем направленной выборки, как правило, составляет от 100 до 500 респондентов, также в зависимости от задач исследования и структуры выборки.

Продолжительность интервью

Надо отметить, что нам доводилось проводить телефонные опросы по анкете с длительностью беседы 1,5-2 часа, но это, как ни странно, удавалось: прерванных интервью было не намного больше, чем при времени интервью 30-50 минут. Интервьюеров большая длина анкеты не отпугивала, хотя оплата не всегда повышалась прямо пропорционально в зависимости от увеличения продолжительности беседы. Оптимальная продолжительность интервью, на наш взгляд, определяется двумя факторами, подчас вступающими в противоречие между собой, а именно, удобствами респондента, о которых обычно помнят, и удобствами интервьюера, которые учитываются редко. С одной стороны, при короткой анкете, увеличивается частота "установлении контакта с респондентом", приходящихся на каждого интервьюера, а что ведет к большему утомлению последнего, чем при работе с длинными анкетами в течение такого же времени.

С другой стороны, при продолжительности интервью больше 50 минут начинает уставать респондент, на что указывают многие авторы; это подтверждается и нашим опытом.

Установление контакта. Гарантия анонимности

Assurances в разговор анонимност, когато се използва методът на телефон по някаква причина, по-рядко в съмнение, по-малко, отколкото по време на интервю в мястото на пребиваване на ответника. Това вероятно се дължи на факта, че след като всички респонденти в най-малко очакват неприятности от телефонния разговор, отколкото от един човек, който дойде в апартамента. Между другото, на Запад, по-специално, в френската литература се среща твърдението, че е по-лесно да се свържете с човек, отколкото по телефона, защото психологически много по-лесно да се хвърлят на телефона, отколкото да се постави човек от къщата. В нашия случай, може би, това е по друг начин - може би защото сме по-малко развита от "инстинкт на учтивост", които, като нещо самоочевидно, френската дума. Може би фактът, че през последните години са били отглеждане на взаимно недоверие, агресивност и страх, по-специално, преди престъплението. Това обяснява и нежеланието на много от участниците, за да отвори вратата към интервюиращия, настроението е значително увеличен до края на 1989 г., когато ни се стори, че от интервютата в общността, най-малко в Москва, като цяло добре да се избягват.

"Отговор" призовава респондентите

С цел да се намали потенциала за всички видове подозрение сред респондентите в текста на някоя от нашите профили винаги води телефонния номер на организацията, провела проучването. Каквато и да е проблеми могат да възникнат по-късно в респондентите, те могат да използват този номер за обратна връзка с нас.

Като правило, те вдига телефона Овчинников респондентите NN или автор. Това се проведе при трудни условия на изследването, когато бяхме принудени да се справят с редица неотложни въпроси в същото време. За съжаление, ние не разполагат с достатъчно време, за да записва и систематизира разговори с участниците, въпреки че ние скоро се убедих, че това е една много интересна и ценна информация.

Нека се опитаме да представим качествена оценка на това. По наше мнение, отговорът призовава участниците могат да се разделят на няколко типа. Най-широко разпространеното явление вероятно е така наречения "тест на слуха": респондента просто набира нашата стая и мълчеше в епруветка, слух, нашите думи: "Институт по социология" удовлетворяването им и затвори телефона. Тази категория може да се дължи на по-малко срамежлив от респондентите, които не мълчаха, и просто питам, каква е организацията, независимо дали това е един апартамент, дали организацията е наистина провеждането на проучване и т.н. Като право на информация, в следващи разговори, респондентите не са обикновено се присъединиха, и разговорът приключи.

Много често респондентите поискаха по-подробни обяснения, остава неясно защо има такова странно дейност, а социологическите изследвания, независимо от факта, че те се опитаха да обяснят на анкетьорите; или "ние" възмутени обаждания специфично съдържание, като правило, "остри" въпроси. Това възмущение обикновено е много агресивен и понякога премина в насилие или заплахи, а понякога и със заплахи започна, но, странно, повечето от тези респонденти притеснен ние бяхме в състояние да успокои доверие, "уважавани" интонации на нашите обяснения. Някои особено добре действал умишлено "бюрокрация" на речта.

Много по-малко е имало обаждания от тези, които не са нещо подобно на поведението на дадена интервюиращия (между другото, имаше анкетираните са недоволни женски анкетьори почти толкова често, колкото мъжете, и че до известна степен противоречи на установеното мнение по този въпрос). Във всички тези случаи, ние се стараеше да намери по-подробно чрез задаване на респондента какво се оказа толкова лошо интервюиращия; Ако се установи, че даден служител е нарушил нашите инструкции, санкции трябвало да се прилагат до пълното провала на неговите услуги, в съответствие с "тежестта на престъплението." Често, обаче, се оказа, че интервюиращият се е съобразила с всички наши изисквания, тогава ние говорихме на ответника, че интервюиращият държали по съвсем правилно, и ние не го обвинявам за нищо.

Дори по-малко от запитаните призоваха да бъдат помолени да работят с нас. Те обикновено когато за първи път исках да получите подробна информация за проучването и неговите цели, организация, занимаваща се с такова странно, но интересни неща, и т.н. Повечето от анкетираните се интересуват от такава работа като анкетьори, но някои са готови да се включат в социологията като наука, получен от опита си с интервюиращия първата бегла представа за неговото съдържание.

Понякога респондентите роднини бяха възмутени от факта, че в тяхно отсъствие интервюирани безпомощна баба, междувременно баба, докато тя, напротив, беше удоволствие да бъде в състояние да общуват; или 18-годишен син, който има право да отговори на всякакви подозрителни въпроси без да се консултира родителите, и като цяло, "как може да има мнение по такъв млад човек!"

Имаше призиви от съседите и приятелите на респондентите, обидени от факта, че те не са интервюирани. Ние обикновено им се даде възможност да изразят своето мнение, но, за съжаление, не би могло да включва отговорите им в извадката.

В първите години на перестройката, много се използва, за да ни оставите телефонен номер за нас, за да изразя възхищението си, защото нашата дейност се възприема от тях като част от най-новите тенденции на освежаващо.

И, накрая, когато се срещнахме доста забавни мелодии, като това: "Кажи ми, е на Института по социология имам за вас социален въпрос - къде там можете да се запишете в ютията?"

контрол на качеството на данните

За съжаление, не всички интервюиращи са доста вярно задълженията си. Ето защо, за контрол върху тяхната дейност, и такъв контрол е много по-лесно да се приложат в проучването по телефона, защото можете да се обадите всички респонденти във вече добре познатия телефонен номер и го питам не само дали е направено изследване и дали е спазена процедурата за подбор ответник, но всички Дали въпросника са дефинирани. Тя е под контрола на телефон показа този вид измама, която обикновено се прибягва интелигентни и опитни анкетьори, като навик да задам един въпрос на клъстера, за да се спести време, и на други въпроси, за да отговорят на техните собствени, на базата на общата логика на отговорите вече са получени.

Анкетьорите: за тях е особено важно глас, способността да притежава, за да използвате пълната гама от интонации, имайте предвид, че това, което интонация изречени в момента фразата и как това се отразява на респондента (интонацията може да бъде хубаво, доверие, безразличен, интензивен, официален , небрежни, любящ, весел, общителен, страх, нервен, уморен, досадно). Но това няма значение, външен вид и способността да ходят много им от града, без да се уморен. Особено важна е ролята на правилното произношение, без акцент и говорни дефекти; ние трябва да бъде ясна, бърза, точна; да бъде в състояние да създаде за себе си и за въпросника добро впечатление - и всичко това с помощта на само един глас. Правят се опити да се рационализира, ако не са стандартизирани, различни аспекти на поведение по време на интервю по телефона, например, са различни мащаб, което води до по Yu Zhakar, например, звукът на гласа се определя от мащаба на силно-слабо; интонация - монотонен, разнообразен; тон - нежно-груб; изразяване арогантен равен унизен; начин на говорене: гладка, гладка, пастърма; произношение: ясен, отчетлив, непоследователен, лошо съчленени; Спонтанно: спонтанните глас, разказ; скорост: бавно, бързо; Глас: приятен, неприятен, и т.н. В допълнение, създадена и "съдържание тест", който оценява гласът на такива неясни показатели като степен на учтивост и фамилиарност, държание - професионалист или аматьор, като новак или посветен, и т.н.

Проучването на телефон заема междинно положение между пълно работно време и Mail по няколко начина. Броят на въпросите, поставени в него обикновено са малко по-голям, отколкото изследването на поща, но по-малко от пълно работно време. Получаване на скоростта на реакция обикновено е по-ниска, отколкото на вътрешния, но по-висока от проучването на пощата. Въпреки, че източниците на информация изкривявания, причинени от личността на интервюиращия, не елиминира напълно, все пак глас по телефона по-малко може да доведе до нарушения в отговорите, отколкото жив човек. Накрая, и изисквания за обучение на персонала са в разликата между това, което се нуждае от проучване вътрестенен, и тези, за които се изисква изпращането на съобщения.

Предимствата на телефонно проучване принадлежат на относителната скорост на отговор, наличието на контрол върху ответника и добра възможност за осигуряване на по-адекватни реакции. Основната му недостатък е трудността за получаване на обективна извадка. За тези хора, които нямат телефон или телефони, които не са изброени в телефонен указател, не може да бъде по-малко значение за научните изследвания, отколкото други. И затова тяхното изключване от пробата може да доведе до изкривяване на резултатите. Например, препратка често не е в списъка дома телефонни номера на длъжностните лица, и много бедни хора не разполагат с телефони. И това може решително да повлияе на резултата от това изследване, целта на което е, например, изследването на връзката между личните доходи и стойността на политическо поведение на индивида. Така че, до каква степен е постижимо с телефонно проучване представителност на извадката, тя зависи главно от характеристиките на населението на хора, за които искате да се направи обобщение. Проба офсет, свързан с липсата на определени телефонни номера, може да се преодолее с помощта на метода на телефонни номера рандомизирано набиране (случайни цифри набиране) (т. Е. Като се използва генератор на случайни числа), което също увеличава скоростта на проучването на телефон. Организациите са професионално ангажирани с телефонни анкети, широко използване на специално разработени компютърни технологии. Тяхното използване може да намали броя на грешките, тъй като, от една страна, като се възползват от програмата, интервюиращият трябва да бъде точно от въпрос на въпрос, и на второ място, отговорите се записват автоматично, когато влязоха в интервюиращия. Модерна техника се използва и за контрол на високо качество. За да направите това, има 2 начина. Първо, органът за групов надзор може да слушате всяка интервю по всяко време, за да се определи питащия бъгове. Второ, тъй като данните са влезли в компютъра като те станат достъпни, лесно е да се отбележи, степента, в която представител за получаване на информация и извършване на необходимите корекции все още в ход.

2. Mail и натискане на проучването в социологическите изследвания.

2.1 Post анкета в социологическите изследвания: концепцията, основните характеристики. Post анкета - версия на въпросника, ефективен метод на "отсъстващ" събиране на първична емпирична информация. Този метод се използва успешно за да се определи как гледа на населението, както и за експертна оценка.

Задължителни изисквания на метода:

1. Основно, многопластов и многократна употреба профили висш пилотаж в проекта;

2. задълбочено инструкция за неговото завършване;

3. плик криптиране;

4. инвестиции в пощенски разходи нетно плик за връщане на въпросника;

5. напомняне за респондентите по отношение на необходимостта да се върне за попълване на въпросника (телефон, поща и други средства).

Важно предимство на проучвания поща - лесна организация. Няма нужда от подбора, обучението, мониторингът на работа анкетьорите. В определен опит на подготовка и разпространение на цялата документация за поща проучване 2000-3000 лице може да се извърши от двама работници в продължение на 7-10 дни, което значително намалява разходите за материали за научни изследвания, като по този начин осигурява ниско информация за разходите. Предимствата на метода включват факта, че тя може едновременно да разпитат хората, които живеят в по-голяма площ, включително в отдалечени райони. В допълнение, поради липсата на контакт между ответника (експерт) и анкетьорите (интервюиращият) психологическата бариера, че понякога възниква, когато дадено лице проучване, тук е изключено. На ответника не е "под натиск" и времевата рамка - тя не може да бъде в бързаме, за да се изяснят някои подробности, за да се отговори на въпросника.

Post анкета има редица предимства:

1. Тъй като изследванията на поща са много по-евтино, отколкото на пълен работен ден, те позволяват по-широк спектър на разпространение на инструмента за разпит и, съответно, по-голяма извадка.

2. Post анкета избягва много от недостатъците, свързани с разпространението на инструмента за въпросник. Тези трудности са нежеланието на интервюиращите да работят в някои области, и неспособността им да се интервюират хора или семейства от определен тип.

3. пощенска проучване също така дава възможност да се избегне изкривяването на резултатите, които се дължат на личните качества на интервюиращия.

4. Поради анонимността, осигурена от разпространение на въпросник в инструмента за поща, отговорите на респондентите са по-достоверни.

5. Когато ви поща проучване респондент повече време да се мисли за отговорите, които са съответно до голяма степен отразяват истинските си чувства, отколкото отговори, генерирани в бързаме по време на интервюто на пълно работно време.

6. Благодарение на централизация на кодиране процедури и по-голяма стандартизация на всички други процедури в проучването на пощата е по-малък риск от грешки дублиране на обработка на данни.

7. Post анкета изисква по-малко персонал. Това спестява време и пари, но също така осигурява по-голяма стандартизация в обработката на данни.

Но, за съжаление, на пощенския проучването, също има своите ограничения. На първо място, този тип изследване изисква разработването на единна въпросник, изпратен до всички респонденти проба и пробата трябва да бъде достатъчно представителна. Но такава една и съща проба, еднакво приемлив за изследване на различни групи от населението, които са необходими, за да се съберат данните, в много случаи, просто не съществуват. На второ място, с цел да се проучат продължи достатъчно бързо, въпросници трябва да бъде кратък. Това означава, че всеки един от контакта с респондента може да бъде получена от сравнително малък обем информация. На трето място, изследователят може да контролира действията на ответника за попълване на въпросника. Той е изпълнен с, наред с другото, че профилът не може да бъде изпълнен по правилата или някакъв друг човек, който не е включен в тази проба; В допълнение, в процеса на попълване на въпросника може да се забави ненужно. Четвърто, за проучване на поща не може да се разчита напълно по отношение на валидността на получената информация. След ответникът има време да "шпионира" в отговор на въпрос на проучване, особено когато става дума за въпроса за тестовете на знанието (като този: "Какво е името на вашия щатски сенатор?"). И накрая, има научни проблеми, които изискват сложна апаратура проучване на разположение само на един опитен интервюиращ.

Сред недостатъците на проучвания поща също се казва, че на частичен профили за връщане, което намалява надеждността на данните, събрани. Ако това беше единствената причина за случайни обстоятелства, би било достатъчно, за да се увеличи броят на въпросници изпратени. Въпреки това, практиката на проучване поща, резултатите от учебни експерименти показват, че няма случайни причини, и систематично. В някои ситуации, в съответствие разпит активно се включиха представители на по-старите възрастови групи (например, по въпроси, свързани с пенсионната и данъчната политика), други - млади хора (например, по отношение на избора на живот или рейтинга на рок групи). Като цяло, процентът на профили за връщане зависи от социално-демографската структура на изпитваните. Обикновено, съставът на въпросника отговори по пол, възраст, образование, продължителност на професионална дейност в по-голяма или по-малка степен не съответства на състава на населението. Очевидно е, че такова отклонение не може да бъде отстранена чрез увеличаване на броя на въпросници изпратени.

На надеждността на резултатите в анкетата на пощата се влияе от други фактори. По този начин, участниците в общественото мнение не могат да съвпадат с мнението на онези, които се въздържаха от проучването на поща; Не рядко ситуация, в която ответникът попълва самия въпросник, и го пренасочва към всеки от членовете на семейството; ние не можем да изключим случаите на група "творчество".

Ето защо, най-важният методическа и организационна проблема решен от изследовател в планирането и провеждането на проучване на поща, - насърчаване на профили за връщане. Опитът показва, че 70-75% възстановяване осигурява висока надеждност на резултатите. Има реални методи за постигане на това ниво, насочена към създаване на благоприятна монтаж на респондентите да участват в проучване на пощата.

Методически инструментариум за пощенски проучване трябва да отговаря на повишените изисквания. Ако директна комуникация интервюиращия "хеджиране" изследователите, помагат респонденти разбират съдържанието на въпросите и да им отговорят на правилата, тогава това не е възможно, когато проучването на пощата. Всички контакти с ответника и социолог в акцентите и детайлите са медиирани само документи. От това следва, че прави в въпросника методологически грешки се коригират в хода на проучването не е възможно и те са длъжни да "материализират" в резултатите, получени под формата на системна грешка.

Пощенският въпросник трябва да бъде кратко въведение, което обяснява правилата, по които тя е пълна. Този пост помага да спечели благоволението на ответника, за да се постигне намаляване на броя на грешките, пропуските в отговорите.

В началото на въпросника има един прост въпрос, интересно съдържание. Въпросите, които изискват сериозен размисъл, както и открит маса и въпроси, свързани с избора на голям брой съдебни решения, питат по-късно. Като цяло, профилът завършва "pasportichka".

Подобни въпроси съдържание са групирани в блокове.

Регистрация форми изискват сериозно внимание. По-специално, малки букви трябва да се използват за въпроси, капитал - за отговори. Кодовете, идентифициращи отговорите, тя е най-добра позиция от ляво на градация. Желателно е да се осигури преход въвеждане на интервюирания в нов тематичен блок и подканване промяна на дизайн, форма на въпроси, използвайте визуални средства (стрелки, знаци, интервали), за да помогне на ответника не се отклоняват от посоката на "движение", се има предвид от изследователя. Не се допуска прехвърляне на част от въпроса от страница на страница.

При вземане на въпросника се препоръчва да се използват различни шрифтове, за да излезе с привлекателен за закачливите си титла. Формат възможно е избрана така, че ответникът не е трябвало да постави любовта ви изпрати.

На последната страница обикновено се поставя жалба на ответника с предложение да се правят допълнителни коментари относно проучването и израз на благодарност за участие в проучването.

Има известна отрицателна корелация между размера (дължина) форми и тяхното ниво на възвръщаемост. Въпреки това, понякога, за да се повиши интереса на респондента на въпросника, въведени редица допълнителни въпроси, не го намали.

Някои смятат, че високата възвръщаемост по време на проучването на пощата се постига само в достатъчно хомогенни социални или демографски групи. В действителност, под формата на кореспонденция на въпросник се използва успешно в масови изследвания на общественото мнение, че проба рамка включва представители от всички слоеве от населението.

От броя на пробите, използван в изследването на пощата обикновено не се налагат никакви ограничения. Тя се определя от целите на изследването, материала и организационни възможности на изследователския екип. Този метод не се препоръчва за употреба в проучването достатъчно затворени множества, където вероятността от потенциалните респонденти контакти. Така че, ако пощенското въпросника, изпратен на членовете на персонала на една малка или селяни, тогава, разбира се, този факт скоро ще се превърне в обект на дискусия между тях и отговорите на въпросника, както и участието в пощенския проучването ще бъде до известна степен са резултат от колективно мъдрост.

Минимальное число рассылаемых анкет – 400. В этом случае высока вероятность получения 250–300 анкет для последующей обработки и анализа.

Адреса потенциальных респондентов при опросе населения можно извлечь из списков избирателей, из домовых книг, телефонных, коммерческих справочников. Если изучается аудитория какой-либо газеты, журнала, адреса подписчиков определяются по картотекам почтовых отделений. Почтовый опрос применим и при исследовании мнений трудящихся больших коллективов. При этом выборка комплектуется на основе данных отделов кадров предприятия (учреждения).

Увеличение возврата почтовых анкет достигается за счет рассылки респондентам уведомлений (см. образец 5.1). Они направляются за 3-4 дня до отправления анкет и настраивают человека на участие в опросе. В уведомлении указывают, каким образом исследователи получили адрес респондента (например, по списку избирателей, в адресной книге и т.д.), чему будет посвящен опрос, какие цели ставят перед собой исследователи; подчеркивается важность участия данного респондента в опросе. Обычно высылка уведомлений повышает возврат анкет на 10–15 %.

Одновременно с рассылкой анкет в том же конверте высылаются другие документы. Среди них обязательно должно присутствовать сопроводительное письмо . Здесь, обращаясь к респонденту по фамилии или имени и отчеству, следует повторить просьбу об участии в почтовом опросе, подробно изложить цели исследования, подчеркнуть его практическую направленность, обратить внимание потенциального респондента на анонимность анкеты (нужно или нет подписывать возвращаемую анкету). Обязательно приводятся адрес и телефон исследовательской организации, что при необходимости позволит респонденту получить дополнительную информацию об исследовании, о правилах заполнения анкеты (см. образец 5.2).

Рекомендуется высылать небольшое символическое вознаграждение (календарь, схему маршрутов общественного транспорта, линий метрополитена и др.), подчеркнуть внимание к респонденту. Это увеличит возврат анкет. Вместе с анкетой респонденту непременно отправляют конверт с напечатанным на нем адресом исследовательской организации, для того чтобы респондент в этом конверте выслал заполненную анкету. Заметим, что и на конверте, в котором документы направляются респонденту, и на конверте возврата стоит наклеивать яркие, многоцветные марки. Сам конверт обязательно должен иметь самоклеющийся ободок. Для обратной пересылки анкеты в исследовательское учреждение не стоит использовать самые большие конверты. Они не входят в почтовый ящик, а ради отправки анкеты далеко не каждый респондент пойдет на почту. Наиболее подходящим является конверт средних размеров.

Примерно через 2–3 недели после отправки анкет высылается напоминание (см. образец 5.3). Если опрос анонимный, напоминание высылается всем потенциальным респондентам; если не анонимный, то тем, кто к определенному времени не прислал заполненной анкеты. Напоминание – один из сильнейших стимуляторов, в среднем оно увеличивает возврат анкет на 20 %. Иногда приходится высылать вторичные напоминания.

Сигнальная карточка – почтовая открытка с маркой, которая высылается потенциальному респонденту вместе с анкетой. На открытке отпечатан адрес исследовательской организации. Заполнив анкету, опрашиваемый вписывает в сигнальную карточку свою фамилию и адрес и высылает ее отдельно от анкеты. Благодаря этому сохраняется анонимность и одновременно появляется возможность узнать, кому из респондентов не надо высылать напоминание. Все документы можно начинать так: «Уважаемый господин (уважаемая госпожа)...», а заканчивать словами «Группа почтового опроса».

Очень важно заранее выяснить на почте сроки прохождения почтовых отправлений до респондентов и отправить анкеты так, чтобы опрашиваемые получили ее в конце трудовой недели: это повышает вероятность скорого заполнения анкеты.

В крупном городе первые заполненные анкеты возвращаются на 7–8-й день, затем в течение двух недель отмечается период наиболее активного возврата. В это время он достигает, как правило, 50 %. Дальнейший его рост определяется конкретными особенно тями процедуры опроса.

Завершая рассмотрение факторов повышения возврата анкет, отметим, что ни один из них не играет исключительной роли. Только совместное использование различных стимуляторов обеспечивает активное участие респондентов в почтовом опросе.

2.2 Понятие «прессовый опрос» и его характеристика . Прессовый опрос - разновидность заочного опроса. В этом случае анкета печатается в газете или журнале. Чаще всего используют два вида такого опроса: первый – с целью получения данных о читателях и их мнения о работе печатного органа; второй – через печатный орган изучается мнение по какой-либо актуальной проблеме.

Прессовый опрос – разновидность анкетирования, осуществляющаяся посредством периодической печати. Основные преимущества: оперативность, массовость, экономичность, откровенность респондентов, обусловленная добровольностью их участия в опросе.

Главные его недостатки: низкая репрезентативность, невысокие показатели возврата заполненных анкет, усугубляемые большой их выбраковкой, малочисленность вопросов, преобладание закрытых вопросов, ограниченные возможности применения шкальных, табличных, диалоговых, менюобразных, контрольных и фильтровочных вопросов, вероятность влияния на респондента других лиц.

Обязательные требования к методу:

1. предварительная апробация (пилотаж) среди всех качественно различных групп читателей данной прессы;

2. предельная простота формулировок вопросов и инструкции к заполнению;

3. использование разных шрифтов при публикации (для выделения смысловой структуры анкеты);

4. повторная перепечатка анкеты в той же газете через неделю-полторы после первой публикации;

5. оглашение результатов опроса на страницах этого же издания.

Поскольку каждая газета имеет своих постоянных читателей, отличающихся от прочих людей рядом социальных характеристик (уровнем материального достатка, местом жительства, идеологическими, политическими и другими пристрастиями), постольку по результатам прессового опроса, проведенного одной газетой, нельзя судить о состоянии общественного мнения, присущего всему населению. Отсюда проистекает желательность и потребность одновременности проведения прессовых опросов по одной и той же анкете в газетах различных направлений. Нарушение этого принципа (к сожалению, оно в современных российских условиях встречается не в порядке досадного исключения, а как правило) ведет не к познанию истинного общественного мнения, а к разного рода идейно-политическим спекуляциям.

Из-за пассивного характера процедуры вовлечения потенциальных респондентов в опрос в прессовом анкетировании возврат анкет невысок. Зачастую это доли процента или единицы процентов всей совокупности подписчиков и читателей. Крайне редко в опросе участвует более 10 % аудитории. Но при значительном тираже издания, например ежедневной газеты крупного областного города, даже при низкой активности респондентов может быть получено весьма большое (несколько тысяч) число заполненных анкет. Однако в этом случае анализ, обобщение эмпирических данных следует осуществлять осторожно, не спешить с распространением полученных выводов на всю массу читателей. Дело отнюдь не в том, что социально-демографический состав ответивших на анкету чаще всего не совпадает с «паспортными» характеристиками аудитории в целом. Гораздо важнее то, что отвечающие отличаются от «молчаливого большинства» либо своим отношением к конкретному печатному органу, либо своим видением и пониманием изучаемой проблемы, либо тем и другим одновременно. Поэтому даже последующий «ремонт» выборки, приведение ее по ряду контролируемых параметров в соответствие со структурой генеральной совокупности не всегда повышают уровень репрезентативности исследования. Скажем, если в прессовой анкете изучается отношение к жилищной проблеме, то среди приславших свои ответы будет больше, чем в целом среди читателей газеты, тех, кто остро неудовлетворен своими жилищными условиями. Кроме того, в читательской аудитории газет или журналов всегда есть «активисты», готовые заполнять все анкеты независимо от тематики опроса, и пассивная часть, которая в принципе не склонна высказывать свои суждения, тем более в заочной форме.

Решающие факторы формирования модели выборочной совокупности, т.е. того массива опрашиваемых, с которым имеет дело социолог, – это тема исследования, конструкция и оформление прессовой анкеты, специфика времени публикации. Так, при прочих равных условиях летом, когда нарушается регулярный характер контактов аудитории с изданием, возврат будет ниже, чем в другой сезон. Иным будет и состав ответивших.

Прессовый опрос не гарантирует получения представительной для изучаемой совокупности информации, поэтому суммарные статистические распределения ответов интерпретировать довольно сложно. В тоже время из общего массива заполненных анкет почти всегда могут быть созданы однородные подмассивы, составленные из конкретных социально-демографических групп подписчиков. Это открывает благоприятные возможности для исследования мнений и предложений, высказываемых различными группами респондентов. Значительная часть участников опроса сопровождает заполненную анкету письмами, содержащими развернутую аргументацию их отношения к изучаемой проблеме. Подобные «самоинтервью» существенно обогащают первичную информацию и углубляют научный анализ проблемы.

Активность респондентов в прессовом опросе повысится, если за несколько дней до публикации анкеты газета выступит по соответствующей теме, обострит проблему, поместив материалы, где отражены дискуссионные точки зрения. Можно сразу информировать читателя о планируемом социологическом опросе и подчеркнуть заинтересованность редакции в результатах. Анкету публиковать целесообразно перед выходными днями . Однако у такого приема имеются и отрицательные последствия – возможное влияние на мнение читателей, что может стать источником систематической ошибки опроса.

В газете анкету выигрышно расположить на первой полосе, выделив шрифтом, броским заголовком, сопроводив фотографией. Если это по какой-то причине невозможно и анкета помещается в другом месте, целесообразно сообщить об этом читателю на первой полосе. В любом случае анкета должна предваряться вступлением от редакции, в котором сообщается о целях опроса, называется исследовательский коллектив, указывается адрес, по которому надо отправить заполненную анкету.

В журнале текст анкеты можно поместить на двух сторонах одного листа, и тогда читатель, вырезав анкету, не нарушит содержания журнальных статей. В газете анкету чаще всего помещают на одной полосе.

Число вопросов в прессовой анкете ограничивается площадью, которую под нее выделяет печатный орган. Газетная анкета обычно содержит 10–30 вопросов, иногда чуть более.

Если редакция планирует проводить прессовые опросы регулярно, необходимо обязательно опубликовать полученные результаты. Тогда каждый ответивший сможет увидеть на страницах печатного органа свою позицию, найти себя среди большинства или меньшинства. Кроме того, редакция должна информировать читателей о том, что сделано после изучения собранных мнений, что планируется осуществить в ближайшее время и что делать пока трудно или нецелесообразно. В противном случае может нарушиться обратная связь с читательской аудиторией, что быстро сведет на нет все усилия по проведению социологического опроса.

Рекомендуемая литература .

<== Предишна лекция | На следващата лекция ==>
| Лекция 17. Телефонът, пощенски и натиснете анкета в социологическите изследвания

; Дата: 01.20.2014; ; Прегледи: 711; Нарушаването на авторските права? ;


Ние ценим Вашето мнение! Беше ли полезна публикуван материал? Да | не



ТЪРСЕНЕ:


Вижте също:



ailback.ru - Edu Doc (2013 - 2017) на година. Тя не е автор на материали, и дава на студентите с безплатно образование и използва! Най-новото допълнение , Al IP: 11.45.9.24
Page генерирана за: 0.109 сек.