Создать PDF Рекомендовать Распечатать

Апробация аналитического инструментария теории нечётких множеств для оценки эффективности труда медицинских работников

Маркетинг | (109) УЭкС, 3/2018 Прочитано: 905 раз
(0 Голосов:)
  • Автор (авторы):
    Кияницына Лилия Николаевна, Орлов Вадим Борисович
  • Дата публикации:
    30.03.18
  • ВУЗ ИЛИ ОРГАНИЗАЦИЯ:
    Югорский государственный университет

УДК 331:510.22  

ББК 65.24+22.12

© К 38

Апробация аналитического инструментария теории нечётких множеств для оценки эффективности труда медицинских работников

Testing of the analytical tools of fuzzy set theory to evaluate the effectiveness of work of health workers

 

Кияницына Лилия Николаевна,

Kiyanitsyna Liliya Nikolaevna

преподаватель

Югорский государственный университет

г. Ханты-Мансийск

kiyanitsyna@yandex.ru

Орлов Вадим Борисович,

Orlov Vadim Borisovich

доктор педагогических наук, профессор

Югорский государственный университет

г. Ханты-Мансийск

professororlov@mail.ru

 

В статье дано описание предложенного и апробированного инструментария оценки эффективности труда медицинских работников. Система оценки базируется на алгоритмах теории нечётких множеств и позволяет кроме интегральной оценки эффективности труда прогнозировать результаты планируемого комплекса управленческих мероприятий. Эффективность предложено оценивать по степени соответствия сочетания ключевых показателей медицинских работников установленному критериальному набору требований. Критериальный набор задаётся на основе принятой системы управления или мнения экспертов, и может корректироваться в зависимости от специфических особенностей конкретного медицинского учреждения. Апробация предлагаемого инструментария выполнена на базе учреждений здравоохранения Ханты-Мансийского автономного округа – Югры. В рамках апробации была выполнена интегральная оценка эффективности труда медицинских работников в зависимости от выбранных критериев эффективности. На основе предлагаемого инструментария возможно также прогнозирование последствий не отдельных управленческих мероприятий, а их комплекса. В результате появляется возможность аналитического прогнозирования параметров, которые приобретёт медицинское учреждение после воздействия на него комплекса управленческих мероприятий.

In article the description of the proposed and proven tools for evaluating the effectiveness of work of health workers. He evaluation system is based on the algorithms of fuzzy set theory and allows to predict the results of the planned complex of management measures in addition to the integrated assessment of labor efficiency. The effectiveness is proposed to assess the degree of compliance with a combination of key indicators of medical workers set criteria requirements. The criteria set is based on the accepted management system or the opinion of experts, and can be adjusted depending on the specific characteristics of a particular medical institution. Testing of the proposed tools was performed on the basis of health care institutions of Khanty-Mansiysk Autonomous Okrug – Yugra. As part of the testing, an integrated assessment of the effectiveness of medical workers, depending on the selected performance criteria, was carried out. On the basis of the proposed tools, it is also possible to predict the consequences not of individual management activities, but of their complex. As a result there is the possibility of analytical prediction parameters, which will become a medical facility after exposure to a complex of management activities.

Ключевые слова: экономика труда, алгоритм оценки эффективности труда медицинских работников, теория нечётких множеств, прогнозирование результатов комплекса управленческих мероприятий.

Keywords: labor Economics, algorithm of assessment of efficiency of work-medical workers, theory of fuzzy sets, forecasting of results of a complex of administrative actions.

 

В силу отраслевых особенностей и масштабов преобразований, адаптация систем здравоохранения к работе в условиях процесса реформирования, сопровождается нехарактерными для других отраслей проблемами функционирования институтов, регулирующих трудовые взаимоотношения. В этих условиях, усугубляющихся экономической нестабильностью отрасли здравоохранения, возникает жизненная необходимость повышения результативности деятельности работников здравоохранения и эффективности функционирования реформированных институтов социально-трудовой сферы. Недостаточная эффективность деятельности подавляющего большинства государственных предприятий стала основной причиной внедрения в Российской Федерации концепции эффективного контракта.

Под эффективным контрактом (эффективным трудовым договором) понимается форма трудового договора или дополнительного соглашения к трудовому договору, в котором повышена степень конкретизации должностных обязанностей медицинского работника, установлены объективные показатели эффективности его деятельности и приведены критерии её оценки, что позволяет: повысить эффективность предоставления медицинских услуг и степень удовлетворенности ими клиентов; уменьшить трансакционные издержки работодателя, в первую очередь за счет снижения уровня оппортунистического поведения работника, повысить степень удовлетворенности врачей и другого медицинского персонала и эффективность их деятельности путем роста объективности стимулирующих выплат

Успешное внедрение эффективного контракта в медицинской сфере и в частности в учреждениях здравоохранения Ханты-Мансийского автономного округа – Югры в большой степени зависит от использования объективной методики оценки эффективности труда медицинских работников.

Решение проблемы оценки сложноорганизованной деятельности, как показывает анализ, практически повсеместно связано с субъективизмом менеджера, как в части выбора критериев, так и в части выбора их весовых коэффициентов. Существующие системы интегральной оценки представляют собой, преимущественно, различные варианты балльной оценки эффективности труда медицинских работников на основе набора отдельных критериев. В некоторых случаях, когда критериям хотят придать различную значимость, используются весовые коэффициенты. Итоговая (комплексная, интегральная) оценка эффективности труда конкретного работника определяется на основе аддитивной модели вида:

 ,     (1)

где ИКЭ – интегральный коэффициент эффективности труда работника;

 – оценка в баллах по критерию 1, критерию 2, … критерию n, соответственно;

– весовые коэффициенты (коэффициенты значимости) для критериев 1, 2,…, n, соответственно.

Недостатком подобного, назовем его балльным, подхода является отсутствие объективных, четко формализованных правил, как в назначении баллов, так и в выборе значений весовых коэффициентов. Основная причина такой ситуации заключается в том, что в любой такой системе оценки труда присутствует присущий ей субъективизм лица или группы лиц, назначающих оценку (баллы). Кроме того, таким системам оценки всегда присуща некоторая нечёткость (размытость) критериев оценки, которые должны быть универсальными и вследствие этого могут не соответствовать меняющейся оценочной ситуации. 

Наличие неизбежного для таких систем субъективизма оценки и расплывчивость критериев даёт перспективу для использования в системе оценки эффективности труда медицинских работников инструментария теории нечётких множеств.

В ситуациях оценки в ряде случаев возникает необходимость принятия решений при отсутствии полной и определенной (чёткой) информации. Для отдельных таких случаев классическая математика предлагает использование инструмента теории вероятностей. Однако применить теорию вероятности не всегда возможно, так как нечёткость многих явлений зачастую не имеет вероятностного характера, и, кроме того, не всегда имеется достаточное количество опытных данных. Для решения этой проблемы потребовались новые понятия неопределённости, которые были введены в рамках теории нечётких множеств её создателем, выходцем из СССР, профессором Калифорнийского университета Лотфи А. Заде [7]. Постулат, что мысль людей не имеет точных границ, а элементами мышления человека являются некоторые нечёткие множества, стал основой предложенного этим ученым подхода. В период 1980-х годов теория нечётких множеств получила дальнейшее развитие в связи с тем, что началось создание компьютерных систем с применением нечётких управляющих алгоритмов. С помощью теории нечётких множеств стала возможна трансформация экспертных оценок в терминах естественного языка в количественную форму, что, в свою очередь, открыло возможность моделирования экономических объектов на базе мнений этих экспертов.

Отметим, что при выполнении оценки эффективности труда используется достаточно разнородная информация. Это могут быть как количественные значения различных показателей, возможные диапазоны их изменения, а также вербальная информация в виде, так называемых лингвистических переменных.

Существующие количественные методы принятия решений способны осуществить выбор оптимальных решений (в данном случае оценки эффективности труда или решений по мерам материального стимулирования) только в условиях полной определенности или, по крайней мере, одного конкретного вида неопределенности, в то время как очевидной проблемой системы оценки эффективности труда является наличие различных видов неопределённости. Таким образом, разнородная информация и, зачастую, её неопределённость дают основание для использования в системе оценки эффективности труда медицинских работников инструментария теории нечётких множеств.

По нашему мнению, именно теория нечётких множеств даёт возможность адекватно учесть и свести воедино всю необходимую разнообразную информацию. Эта информация о системе оценки, её критериях в виде целевых функций должна быть представлена в специфической форме функций принадлежности.

По нашему мнению, применение теории нечетких множеств в рамках системы оценки эффективности труда позволяет:

1) адекватно учесть всю необходимую разнообразную информацию о деятельности работника и представить её в специфической форме в виде функций принадлежности;

2) на основе использования формального языка теории нечётких множеств применить нечёткие ограничения и цели и принимать обоснованные решения по оценке с учётом различных видов неопределённости;

3) адекватно моделировать негативные отклонения в деятельности персонала медицинских организаций (ошибки персонала, помехи в работе и др.) с использованием нечётких алгоритмов.

Рассмотрим возможности приложений теории нечётких множеств, изложенных в [6], для решения поставленных задач по аналогии с алгоритмом, приведенным в работе [2].

Для нахождения интегральных рейтингов, характеризующих эффективность труда медицинских работников, используем задачу «определение подпрямого образа нечёткого множества».

Представим постановку этой задачи следующим образом: а) рассматривается несколько работников, каждый из которых имеет б) набор определенных свойств (признаков) и задан в) критериальный набор этих признаков, на основании которого оцениваются представленные работники. Результатом решения данной задачи является нахождение работника, который обладает всеми признаками критериального набора A и по комплексу свойств наилучшим образом ему соответствует.

В терминах теории нечётких множеств постановка данной задачи будет выглядеть следующим образом. Необходимо найти степень принадлежности критериального набора признаков x (образ нечеткого множества A) объектам (работникам) y при условии, что известно нечёткое бинарное отношение R из множества X во множество Y (наборы свойств (признаков) объектов). Результатом решения данной задачи является степень принадлежности q каждого элемента y образу нечёткого множества A при заданном нечётком бинарном отношении R. В соответствии с правилами теории нечётких множеств, все значения признаков x, бинарных отношений rи степени принадлежности q элемента y образу нечеткого множества A должны находиться в интервале [0;1]. Полученное множество значений q интерпретируется следующим образом: чем ближе значение степени принадлежности q к единице, тем комплекс свойств объекта в большей степени соответствует заданному критериальному набору признаков A [2].

При нахождении подпрямого образа функция принадлежности искомого нечёткого множества B – μВ (y) находится из неравенства

  (2)

С использованием, так называемой операции срезки (, зависимость (2) можно представить, как

  (3)

Операция срезки (, может быть записана следующим образом:

      (4)

В общем виде нечёткое множествоB, представляющее собой подпрямой образ множества A, может быть записано как B = A. Обозначим      μA◄R   (результат оценки – рейтинг)      (свойства работников).  С учетом введенных обозначений в матричном виде решение данной задачи можно представить следующим образом:

 

 ◄    = (  ),   (5)

где    – степень принадлежности признаков     нечеткому множеству (критериальному набору), который записывается в виде   ;

    – элементы матрицы R (нечеткое бинарное отношение из множества X во множество Y), которые задают нечеткие значения признаков     для элементов y (объекты) нечеткого множества Y ;

    степени принадлежности элементов     образу нечеткого множества    , которые можно интерпретировать как степень соответствия комплекса признаков объектов заданному критериальному набору значений этих признаков;

   – число признаков  

   – число элементов y (объектов).

Решениями выражения (5) в координатной форме являются выражения следующего вида:

   (6)

По результатам расчета по формулам (6) получаем множество B = A    которое позволяет оценить, какой из объектов y имеет большую степень принадлежности критериальному набору признаков (образ нечеткого множества A). Чем ближе значение q к единице, тем в большей степени работник соответствует заданному критериальному набору признаков A по комплексу свойств.

Рассмотрим возможности применения задачи – «определение подпрямого образа нечёткого множества» для нахождения интегральных показателей эффективности труда медицинских работников на условном примере. В результате решения этой задачи выполняется ранжирование работников, которые имеют все признаки критериального набора A и выявляется, кто по комплексу свойств соответствует этому набору наилучшим образом.

Для проведения оценки в соответствии с канонами данной задачи используются вышеприведенные формулы– (4) – (6).

В качестве признаков X возьмем показатели, приведенные в [1] для группы медицинских работников: врач-специалист (врач-терапевт, врач-дерматовенеролог, врач-офтальмолог, врач-хирург, врач-акушер-гинеколог).

В качестве исследуемых сочетаний использованы следующие показатели:

x1 – Дефекты качества медицинской помощи по результатам проверок врачебной комиссии, вышестоящих и контрольно-надзорных органов;

x2 – Обоснованные жалобы на качество, объем оказания медицинской помощи, соблюдение дентологических аспектов деятельности по заключению врачебной комиссии;

x3 – Соответствие качества медицинской помощи установленным требованиям (соблюдение сроков обследования пациента, объема и своевременности диагностических и лечебных мероприятий и т. п.);

x4 – Совпадение клинического и патологоанатомического диагнозов,

x5 –Дефекты оформления медицинской документации, несоблюдение сроков предоставления отчетности.

Согласно канонам теории нечётких множеств значения признаков Xнаходятся в интервале [0;1]. В число исследуемых вариантов наборов показателей вошли шесть условных работников. Система критериев оценки эффективности труда в виде критериального (желаемого) набора признаков (в терминах теории нечётких множеств – образ нечёткого множества A) представлена как A = {(x1p1); (x2p2); (x3p3); (x4p4); (x5p5 )}, где p1 p5 желательные значения признаков x1 x5.

Выбор значений признаков p1 – p5 базируется на «идеологии» базового документа (в данном случае приказа Минздрава РФ от 31.10.2014 № 696н) или мнении экспертов или выполняется в зависимости от специфических особенностей конкретного медицинского учреждения и его специализации.

Отметим, что степень значимости конкретного признака из критериального набора A задаётся их величиной. Наиболее важные признаки из набора A получают значения   , близкие к единице (диапазон 0,8…1,0). Меньшая значимость признака для предприятия отражается более низкими значениями. Естественно при использовании негативных признаков их значения в критериальном наборе получают значения в диапазоне 0,0…0,2.

Зададим  критериальный набор следующим образом:

A = {(x11,0); (x20,9); (x30,9); (x41,0); (x50,8)

Значения показателей работников будем определять по степени соответствия лингвистических переменных и нечётких чисел (таблица 1).

 

Таблица 1

Соответствие лингвистических переменных и нечётких чисел

Лингвистическая переменная

Диапазон нечётких чисел

Полное соответствие критериальному показателю (отлично)

0,8–1,0

Преимущественно соответствие критериальному показателю (хорошо)

0,6–0,79

Частичное соответствие критериальному показателю (удовлетворительно)

0,2–0,59

Несоответствие критериальному показателю (неудовлетворительно)

0,0–0,19

 

Показатели эффективности труда медицинских работников приведены в таблице 2.

 

Таблица 2

Показатели эффективности труда медицинских работников в нечётких числах

 

 

В матричном виде постановка данной задачи будет выглядеть следующим образом:

   № работников

 

(1,0;0,9;0,9;1,0;0,8) ◄   = (   )

 

Используя операцию срезки (  , (формула (4)) получим:

В результате решения данной задачи можно оценить, какой из рассматриваемых наборов показателей (работников) имеет большую степень принадлежности критериальному набору требований. Степень этого соответствия (близость к 1) определяется по величине расчётного параметра q.

В соответствии с данной методикой, условных медицинских работников можно разместить в следующий ряд (по убыванию интегрального рейтинга эффективности q): № 5; № 1 и № 4; № 2; № 3; № 6.

Эффективным средством прогнозирования возможных последствий решений в сфере управления персоналом, по мнению авторов, может стать использование нечётких моделей вывода.

Высказывание r=    если a, то b    в классической логике обозначается r = a⇒ bи называется импликацией. В нечётких моделях и входные (a) и выходные (b) данные представляют собой нечёткие множества. В теории нечётких множеств высказывание r трансформируется в вид    если A, то B    по которому это высказывание трактуется как нечёткое отношение из множества X, в которое входит нечёткое множество A, во множество Y, в которое входит нечёткое множество B. Это нечёткое отношение R также называется импликацией и обозначается символомA⇒B. Функция принадлежности импликаций может быть определена по формуле

  ,    (7)

где     – какая-либо конкретная функция из набора используемых для этой цели функций [6, с.156].

В авторском видении, набор управленческих действий, каждое из которых имеет различную интенсивность, задается нечёткими числами и в терминологии нечетких моделей вывода представляют собой логическую посылку A   Соответственно результаты этих управленческих действий представляют собой следствие B. Управленческая концепция или мнение группы экспертов используются в качестве импликации A⇒B как нечёткое отношение R. Данная методика допускает прогнозирование на основе мнения нескольких групп экспертов.

Взяв за основу решение, приведенное в [3], рассмотрим процедуру прогнозирования результата комплекса управленческих действий в медицинской сфере. В целях упрощения описания данной процедуры ограничимся пятью управленческими действиями (логическая посылка A), а их следствие B также пятью выходными параметрами.

Входное управленческое действие в форме нечёткого множества будет иметь вид A =    . Предположим, импликация A⇒B в виде нечёткого отношения R, формулируется на базе мнения экспертной группы. Тогда нечёткие множества примут форму << если    , то    >> и имеют вид

    =    .

   =   .   (8)

 

Импликацию (7) строим на основе функции    и представим ее в виде матриц   :

     (9)

Элементы матрицы (9) находим как:

   .

Содержание операции срезки ( представлено зависимостью 9 (3.55):

    (10)

Локальный вывод    строится с использованием матрицы(9) и входного управленческого решения A. В качестве правила вывода используем    

   = (  (11)

В координатной форме решение выражения (11) может быть представлено как:

  (12)

В соответствии с используемым подходом получим нечёткое множество, которое определяет возможные результаты от предпринятого комплекса управленческих действий:

   (13)

При выполнении апробации действенности предложенного аналитического инструментария было выполнено прогнозирование результатов комплекса управленческих действий в сфере управления медицинским персоналом.

Была выполнена оценка последствий следующего набора управленческих действий (Xi):

 – оперативное управление медицинским учреждением;

 – введение стандартов качества медицинского обслуживания;

 – контроль и управление материальных затрат на всех стадиях медицинской помощи;

 – инвестиции в оснащение медицинского учреждения;

 – внедрение прогрессивных методов материального стимулирования труда медицинского персонала, в том числе эффективного контракта.

В качестве результатов данных управленческих действий (мероприятий) (Yi) рассматривались следующие показатели эффективности работы медицинского персонала и медицинского учреждения, в целом:

 сокращение времени оказания медицинской помощи;

 повышение качества медицинской помощи;

 минимизация материальных затрат на медицинское обслуживание;

 снижение общих затрат на медицинское обслуживание;

 снижение фонда оплаты медицинского учреждения.

Степень «силы» (интенсивности) управленческих действий и их результатов задана авторами на основе экспертной оценки.

Так, если входное управленческое решение в форме нечёткого множества имеет вид: A=    , то его результаты будут представлены в следующем виде:

B =   image142.

Строим импликацию A⇒B=    в виде матрицы в соответствии с формулами (9), (10):

Проверяем действие комплекса управленческих решений, представленного в виде:    

В соответствии с выражениями (11), (12) получим локальный вывод:

    = ( )

Полученное нечёткое множество:    

представляет собой аналитическую оценку последствий предпринятого комплекса управленческих действий   . В соответствии с такой оценкой при заданной интенсивности предпринятых управленческих решений в наибольшей степени эти мероприятия окажут влияние на сокращение времени оказания медицинской помощи, минимизацию (оптимизацию) затрат на медицинское обслуживание и снижение общих затрат на медицинское обслуживание. В наименьшей степени этот комплекс мероприятий повлияет на снижение фонда оплаты медицинского учреждения.

По мнению авторов, практическая значимость предложенного аналитического инструментария заключается в том, что его использование позволяет аналитически оценить последствия не отдельных управленческих действий, а их комплекса. При этом реальная проверка результатов таких действий в условиях действующего медицинского учреждения является весьма затруднительной и затратной. В результате такого подхода появляется возможность аналитического прогнозирования характеристик, которые приобретёт система медицинского обслуживания после воздействия на неё совокупности управленческих мероприятий.

Список литературы

1. Приказ Минздрава РФ от 31.10.2014 № 696н «Об утверждении Положения об оплате труда работников федеральных казенных учреждений, подведомственных Министерству здравоохранения Российской Федерации, по виду экономической деятельности «Здравоохранение и предоставление социальных услуг»»

2. Грейз, Г.М. К вопросу о возможностях трансфера инструментов теории нечетких множеств для информационно-аналитической поддержки логистического менеджмента / Г.М. Грейз // Вестник Южно-Уральского государственного университета. Серия Экономика и менеджмент. – 2015. – Т. 9. – № 1. – С. 170-177

3. Грейз, Г.М. Апробация алгоритма оценки оптимальности управления логистическими процессами промышленного предприятия / Г.М. Грейз, Ю.Г. Кузменко, И.Ю. Окольнишникова // Вестник ЮУрГУ. Серия «Экономика и менеджмент». – 2017. – Т. 11, № 4. – С. 141–149. DOI: 10.14529/em170419

4. Кияницына Л.Н. Эффективный контракт в учреждениях здравоохранения /Л.Н. Кияницына// Проблемы теории и практики управления. – 2014.– № 11. – С.137-142

5. Кияницына Л.Н. Эффективный контракт как метод снижения трансакционных издержек в трудовых отношениях в учреждениях здравоохранения / Л.Н. Кияницына//Трансформация экономических теорий и процессов в эпоху глобализации, 2 часть: Материалы ХХI Международной научно-практической конференции студентов, аспирантов и молодых ученых/ Центр экономических исследований. – Санкт – Петербург - 2014. – С. 75-79.

6.  Ухоботов, В. И. Избранные главы теории нечётких множеств: Учеб.пособие / В.И. Ухоботов. – Челябинск: Изд-во Челяб. гос. ун-та, 2011. – 245 с.

7. Zadeh, L.A. Fuzzy Sets / L.A. Zadeh // Information and Control, 1965. – Vol. 8. – № 3. – P. 338 - 353.

 

The list of literary sources

 

1. The order of the Ministry of health of the Russian Federation of 31.10.2014 № 696n "on approval of the Regulations on remuneration of employees of Federal state institutions subordinated to the Ministry of health of the Russian Federation, by type of economic activity" health Care and social services»

2. Greyz, G. M. To a question of possibilities of transfer of tools of the theory of fuzzy sets for information and analytical support of logistic management / G. M. Greyz // Bulletin of the South Ural state University. Series Economics and management. - 2015. - Vol. 9. - No. 1. - Pp. 170-177

3. Greiz, G. M. Testing of the algorithm for assessing the optimality of logistics management in industrial enterprises / G. M. Greiz, G. Kuzmenko, Y. Okolnishnikova I. // Bulletin of the South Ural state University. Series "Economics and management". - 2017. - Vol. 11, No. 4. - Pp. 141-149. DOI: 10.14529/em170419

4. Kiyanitsyna L. N. Effective contract in healthcare institutions /L. N. Kiyanitsyna // problems of the theory and practice of management. - 2014.- No. 11. – P. 137-142

5. Kiyanitsyna L. N. Effective contract as a method to reduce transaction costs in labor relations in healthcare institutions / L. N. Kiyanitsyna //Transformation of economic theories and processes in the era of globalization, part 2: Materials of XXI International scientific and practical conference of students, postgraduates and young scientists/ Center for economic research. - St. Petersburg-2014. – P. 75-79.

6. Ukhobotov, V. I. Selected chapters of the theory of fuzzy sets: Proc.the manual / V. I. Ukhobotov. – Chelyabinsk: publishing house of Chelyabinsk state University, 2011. - 245 p.

7. Zadeh, L.A. Fuzzy Sets / L.A.Zadeh // Information and Control, 1965. – Vol. 8. – № 3. – P. 338 - 353.

 

  vakperechen

ОБНОВЛЕННЫЙ СПИСОК ВАК 2016 г.
ОТ 19.04.2016  >> ПРОСМОТРЕТЬ
tass
 
ПО ВОПРОСАМ ПУБЛИКАЦИИ СТАТЕЙ И СОТРУДНИЧЕСТВА ОБРАЩАЙТЕСЬ:
skype SKYPE: vak-uecs
e-mail
MAIL: info@uecs.ru
phone
+7 (928) 340 99 00
 

АРХИВ НОМЕРОВ

(01) УЭкС, 1/2005
(02) УЭкС, 2/2005
(03) УЭкС, 3/2005
(04) УЭкС, 4/2005
(05) УЭкС, 1/2006
(06) УЭкС, 2/2006
(07) УЭкС, 3/2006
(08) УЭкС, 4/2006
(09) УЭкС, 1/2007
(10) УЭкС, 2/2007
(11) УЭкС, 3/2007
(12) УЭкС, 4/2007
(13) УЭкС, 1/2008
(14) УЭкС, 2/2008
(15) УЭкС, 3/2008
(16) УЭкС, 4/2008
(17) УЭкС, 1/2009
(18) УЭкС, 2/2009
(19) УЭкС, 3/2009
(20) УЭкС, 4/2009
(21) УЭкС, 1/2010
(22) УЭкС, 2/2010
(23) УЭкС, 3/2010
(24) УЭкС, 4/2010
(25) УЭкС, 1/2011
(26) УЭкС, 2/2011
(27) УЭкС, 3/2011
(28) УЭкС, 4/2011
(29) УЭкС, 5/2011
(30) УЭкС, 6/2011
(31) УЭкС, 7/2011
(32) УЭкС, 8/2011
(33) УЭкС, 9/2011
(34) УЭкС, 10/2011
(35) УЭкС, 11/2011
(36) УЭкС, 12/2011
(37) УЭкС, 1/2012
(38) УЭкС, 2/2012
(39) УЭкС, 3/2012
(40) УЭкС, 4/2012
(41) УЭкС, 5/2012
(42) УЭкС, 6/2012
(43) УЭкС, 7/2012
(44) УЭкС, 8/2012
(45) УЭкС, 9/2012
(46) УЭкС, 10/2012
(47) УЭкС, 11/2012
(48) УЭкС, 12/2012
(49) УЭкС, 1/2013
(50) УЭкС, 2/2013
(51) УЭкС, 3/2013
(52) УЭкС, 4/2013
(53) УЭкС, 5/2013
(54) УЭкС, 6/2013
(55) УЭкС, 7/2013
(56) УЭкС, 8/2013
(57) УЭкС, 9/2013
(58) УЭкС, 10/2013
(59) УЭкС, 11/2013
(60) УЭкС, 12/2013
(61) УЭкС, 1/2014
(62) УЭкС, 2/2014
(63) УЭкС, 3/2014
(64) УЭкС, 4/2014
(65) УЭкС, 5/2014
(66) УЭкС, 6/2014
(67) УЭкС, 7/2014
(68) УЭкС, 8/2014
(69) УЭкС, 9/2014
(70) УЭкС, 10/2014
(71) УЭкС, 11/2014
(72) УЭкС, 12/2014
(73) УЭкС, 1/2015
(74) УЭкС, 2/2015
(75) УЭкС, 3/2015
(76) УЭкС, 4/2015
(77) УЭкС, 5/2015
(78) УЭкС, 6/2015
(79) УЭкС, 7/2015
(80) УЭкС, 8/2015
(81) УЭкС, 9/2015
(82) УЭкС, 10/2015
(83) УЭкС, 11/2015
(84) УЭкС, 11(2)/2015
(85) УЭкС,3/2016
(86) УЭкС, 4/2016
(87) УЭкС, 5/2016
(88) УЭкС, 6/2016
(89) УЭкС, 7/2016
(90) УЭкС, 8/2016
(91) УЭкС, 9/2016
(92) УЭкС, 10/2016
(93) УЭкС, 11/2016
(94) УЭкС, 12/2016
(95) УЭкС, 1/2017
(96) УЭкС, 2/2017
(97) УЭкС, 3/2017
(98) УЭкС, 4/2017
(99) УЭкС, 5/2017
(100) УЭкС, 6/2017
(101) УЭкС, 7/2017
(102) УЭкС, 8/2017
(103) УЭкС, 9/2017
(104) УЭкС, 10/2017
(105) УЭкС, 11/2017
(106) УЭкС, 12/2017
(107) УЭкС, 1/2018
(108) УЭкС, 2/2018
(109) УЭкС, 3/2018
(110) УЭкС, 4/2018
(111) УЭкС, 5/2018
(112) УЭкС, 6/2018
(113) УЭкС, 7/2018

 Федеральная служба по надзору в сфере связи и массовых коммуникаций

№ регистрации СМИ ЭЛ №ФС77-35217 от 06.02.2009 г.       ISSN: 1999-4516