устройство для обнаружения и устранения аномальных измерений при фиксированном значении вероятности ложной тревоги

Формула изобретения

Устройство для обнаружения и устранения аномальных измерений при фиксированном значении вероятности ложной тревоги, содержащее блок хранения результатов измерений, вход которого является информационным входом устройства, n каналов, каждый из которых состоит из коммутатора, к управляющим входам которых подсоединен выход блока разбиения на интервалы, который содержит генератор случайных чисел, распределенных по равномерному закону, выход которого подсоединен к входу блока устранения связанных значений, выход которого подсоединен к входу блока ранжирования, к выходу которого подсоединен вход регистра хранения выборки случайных чисел, чей выход является информационным выходом блока разбиения на интервалы, к выходам коммутаторов подсоединены входы блоков аппроксимации, выходы которых подсоединены к входам блоков вычитания, ко вторым входам которых подсоединен выход блока хранения результатов измерений, выходы блоков вычитания подсоединены к входам блоков хранения остатков, выходы блоков вычисления оценки среднеквадратического отклонения подсоединены к входам блоков умножения, ко вторым входам которых подсоединен выход регистра хранения коэффициента, выход блока умножения соединен с первыми входами компараторов, ко вторым входам которых подсоединены выходы блоков хранения остатков, выходы компараторов соединены с входами блоков хранения штрафов, выходы которых соединены с входами арифметически суммирующего устройства, выход которого соединен с первым входом компаратора и входом блока вычисления порога, выход которого подключен к второму входу компаратора, выход компаратора подсоединен к входу регистра хранения штрафов, выход которого подсоединен к первому входу блока устранения аномальных измерений, ко второму входу которого подключен выход блока задержки, вход которого подключен к выходу блока хранения результатов измерений, выход блока устранения аномальных измерений подключен к входу регистра хранения, чей выход является информационным выходом устройства, отличающееся тем, что в каждый из n каналов введены блоки ранжирования значений на интервалах, входы которых подсоединены к выходам блоков хранения остатков, выходы блоков ранжирования значений на интервалах подсоединены к входам блоков получения усеченной выборки, выходы которых подключены ко входам блоков вычисления оценки среднеквадратического отклонения, к входам регистра хранения коэффициента подключен выход блока определения коэффициента, к входу которого подключен выход блока установки вероятности ложной тревоги, синхронность устройства обеспечивается генератором тактовых импульсов.

Описание изобретения к патенту

Изобретение относится к области вычислительной техники и может быть использовано в системах управления и обработки сигналов.

Наблюдаемый временной ряд является последовательностью y₁, y₂, , y_n результатов измерений, полученной в равностоящие моменты времени t₁, t₂, , t_n, где y(t_k)=y_k, .

Математическая модель результатов измерений может быть представлена в общем виде

где S_k - полезная составляющая; u_k - аддитивная шумовая составляющая; _k - аномальная составляющая.

Значения аддитивной шумовой составляющей u_k являются некоррелированными, имеют нулевое математическое ожидание и являются реализацией эргодического случайного процесса.

Цель данного изобретения - обнаружение и устранение аномальных измерений в исходной дискретной реализации результатов измерений при фиксированном значении вероятности ложной тревоги.

Аномальными измерениями будем считать значения последовательности результатов измерений, которые резко отличаются по амплитуде и статистическим свойствам на фоне основной группы значений реализации. Задача обнаружения аномальных измерений может возникнуть: 1) в работе приемо-передающих устройствах дальней или космической связи; 2) в радиотехнике при оценке помехоустойчивости схем (алгоритмов) обработки сигналов в моделирующих системах; 3) в метрологии при измерении характеристик состояния атмосферы и т.д.

Для решения задачи обнаружения аномальных измерений в настоящее время используется теория статистических решений с применением параметрических методов, использование которых требует априорных сведений, как о характере распределения измеряемого процесса, так и о его параметрах (математическом ожидании, дисперсии, корреляционной функции и ряда других). Для эффективного решения задач обнаружения и устранения аномальных измерений необходимо знать статистические характеристики нормальных и аномальных составляющих шума.

Использование непараметрических статистик в методах и алгоритмах проверки достоверности результатов измерении предполагает, что функциональный вид распределений шумовых составляющих априорно неизвестен. При использовании непараметрических статистик априорная информация сводится к заданию только различий между конкурирующими гипотезами, сами же распределения, охватываемые той или иной гипотезой, не конкретизируются.

Известен способ обнаружения аномальных измерений использующий U-статистику [Марчук В.И. Первичная обработка результатов измерений при ограниченном объеме априорной информации. Под ред. Румянцева К.Е.. Таганрог. ТРГТУ. 2003, 160 с.]. Применяется в том случае, если выборка представляет N независимых измерений случайного процесса y _k распределенного по нормальному закону.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, вычисление среднеквадратического отклонения, обнаружение аномальных измерений.

Недостатками известного способа и устройства его реализующего являются:

- данный способ используется только для стационарных процессов;

- требуется априорная информация о математическом ожидании, среднеквадратическом отклонении и о законе распределения случайного процесса y_k.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- в большинстве случаях априорная информация о функциональном виде распределения, а также математическом ожидании и среднеквадратическом отклонении ограничена.

Структурная схема устройства, реализующего рассмотренный способ-аналог, содержит генератор тактовых импульсов, коммутатор, первый и второй регистры, сумматор, блок вычисления среднеквадратического отклонения, сравнивающее устройство, блок установки уровня значимости.

Известен способ обнаружения аномальных измерений методом разбиения на интервалы [Переверткин С.М. и др. Бортовая телеметрическая аппаратура космических летательных аппаратов. - М.: Машиностроение, 1977. 208 с.], где устранение одиночных аномальных измерений из результатов измерений осуществляется с помощью аппроксимации неизвестного распределения шума только в области больших положительных значений аргумента (правого "хвоста" плотности распределения), при этом предполагается, что распределение шума относится к экспоненциальному типу. Для аппроксимации правых "хвостов" неизвестных функций распределения F(y) экспоненциального типа используется выражение

где ₁, u₁, - соответственно, экстремальная функция интенсивности, характеристическое наибольшее значение и дополнительный параметр, определяемые из опытных данных; n₁ - объем выборки.

Для оценки указанных величин, соответствующих неизвестному распределению шума, согласно методу моментов с помощью опорного шумового канала, m₁, раз производится выборка из n ₁ независимых членов (общий объем N=m₁,n ₁). В каждые из m₁ частных выборок выделяются максимальные по величине члены y_k, где k=1, ,

m₁ и вычисляются среднее максимальных членов и их дисперсия D₁, на основании которых определяются оценки

где С=0,5772 - постоянная Эйлера.

Полная выборка из N членов вновь разбивается на m ₂ выборок по n₂ членов (N=

m ₂n₂, m₂>m₁). В каждой из m₂ выборок выделяются максимальные по величине члены у_k, где k=1, , m₂, и определяются , D₂, , , соответствующие новому разбиению полной исходной выборки. Согласно процедуре обнаружения определяется параметр

По априорному значению вероятности ложной тревоги определяется значение величины решающего порога

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, выделение временных отрезков, разбиение исходной реализации на интервалы, обнаружение аномальных измерений.

Недостатками известного способа и устройства, его реализующего, являются:

- процедура обнаружения не эффективна в случае обработки групповых аномальных измерений;

- присутствие аномальных измерений делает выборку неоднородной, что приводит к ошибкам при определении параметров закона распределения;

- известный способ применим только в случае обработки одиночных аномальных измерений, если их амплитуда не превышает в два раза среднее значение y_k;

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- неоднородность выборки приводит к ошибкам при определении параметров закона распределения, что является следствием наличия в выборке аномальных измерений;

- известный способ не позволяет обнаруживать групповые аномальные измерения;

- алгоритм определения порога П и параметров , , основан на отборе и обработке только максимальных членов частных выборок, что повышает влияние аномальных измерений на оценку параметров.

Структурная схема устройства, реализующего рассмотренный способ-аналог, содержит генератор тактовых импульсов, коммутатор, первый и второй регистры, сумматор, сравнивающее устройство, блок вычисления порога, блок разбиения.

Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений Пат. № 2010325. Блок обнаружения и устранения аномальных измерений обеспечивает получение абсолютной величины разности | _k| между текущим k-м отсчетом входного сигнала y_k и значением сглаженного выходного сигнала схема сравнения обеспечивает сравнение сигнала абсолютной величины разности | _k| с кодом допустимого значения строба и формирует на выходе признак превышения.

В сглаживающем устройстве реализуется следующий алгоритм сглаживания:

где величины m_k и m _k-1 определены как приведенное значение входного сигнала относительно своего среднего значения соответственно для k-го и (k-1)-го моментов текущего времени равны

Величина есть допустимое значение строба приведенного отклонения входного сигнала, N_с - значение коэффициента деления.

При проверке условия | _k| (6), являющегося условием отсутствия ошибки, происходит переход на ту или иную ветвь вычислений. Если условие отсутствия ошибки не выполняется, то вычисленное значение m _k считается неверным и вместо него для формирования текущего сглаженного значения используется предыдущее верное значение m_k-1. Такая замена вследствие монотонности исходного сглаженного сигнала не ведет к его искажению. Если после этого на следующем шаге сглаживания условие отсутствия выполняется, то ошибка классифицируется как исправленное аномальное измерение. Невыполнение условия отсутствия ошибки является признаком отказа.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, выделение сглаженного сигнала, обнаружение и устранение аномальных измерений.

Недостатками известного способа и устройства его реализующего являются:

- процедура обнаружения неэффективна в случае обработки групповых аномальных измерений;

- требуется априорное знание допустимого значения строба .

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- так как данный способ позволяет обнаруживать только одиночные аномальные измерения, то эффективность обнаружения групповых аномальных измерений будет низкой;

- величина задается в зависимости от класса входных сигналов и от области применения сглаживающего устройства.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схема сравнения, третий элемент И, генератор тактовых импульсов.

Наиболее близким к изобретению является устройство для обнаружения и устранения аномальных значений Пат. № 2301445.

Рассматриваемое устройство-прототип предполагает: 1) запоминание входной реализации y₁ , y₂, , y_n; 2) разбиение входной реализации на интервалы _j случайными числами, имеющими равномерный закон распределения; 3) проверка условия, что интервалы включают не менее l значений исходной реализации, если условие не выполняется, то заново генерируются случайные числа разбиения; 4) нахождение на каждом интервале _j, входной реализации оценок коэффициентов аппроксимирующего полинома а+bt+ct² с помощью метода наименьших квадратов; 5) нахождение разности _k, между значениями оценки аппроксимирующей функции S_k и исходной реализацией результатов измерений y_k; 6) на каждом интервале _j производится оценка среднеквадратического отклонения и устанавливается порог , где 0<А 3; 7) на каждом интервале _j для разностного процесса проверяется условие S_k+ _j<y_k<S_k- _j, 8) при выполнении условия, указанного в пункте 7, y_k получает одно штрафное значение, равное 1; 9) повторение процедур, описанных в пунктах 1-8 К раз, при этом происходит накопление штрафных значений; 10) для всех оштрафованных значений исходной реализации определяется среднее значение штрафов; 11) отсчеты, у которых суммарное число штрафов превышает среднее значение, определяются как аномальные.; 12) единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерении до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений).

Устройство обнаружения и устранения аномальных измерений содержит буферный блок, блок хранения результатов измерений, коммутаторы, блок разбиения на интервалы, генератор случайных чисел, блок устранения связных значений, блок ранжирования, регистр хранения выборки случайных чисел, блок аппроксимации, блок вычитания, блок хранения остатков, блок вычисления оценки среднеквадратического отклонения, блок установки коэффициента, блок умножения на коэффициент, блок установки порога, компараторы, регистр хранения штрафов, арифметическое суммирующее устройство, блок устранения аномальных измерений, блок задержки, регистр хранения, генератор тактовых импульсов.

Недостатками известного устройства-прототипа являются:

- погрешность в оценке среднеквадратического отклонения для определения порогового значения о назначении штрафов на каждом интервале;

- априорная информация о значении коэффициента А.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- оценка среднеквадратического отклонения по значениям всего интервала разбиения;

- зависимость коэффициента А от значения вероятности ложной тревоги.

Целью изобретения является обнаружение и устранение аномальных измерений в исходной дискретной реализации результатов измерений при фиксированном значении вероятности ложной тревоги.

Предлагаемое устройство исходит из наличия единственной дискретной реализации

y₁, y₂, , y_n результатов измерений, полученной в равностоящие моменты времени t₁, t₂, , t_n, где y(t_k)=y_k, .

Упрощенная математическая модель результатов измерений описывается выражением (1).

Суть предлагаемого устройства заключается в разбиении исходной дискретной реализации результатов измерений y_k на интервалы _j, случайной длины и аппроксимации на каждом из них полиномом второй степени, где р - число интервалов.

Многократное разбиение на интервалы _j и аппроксимация на них значений измерений позволяют размножать оценки единственной реализации результатов измерений. На каждом интервале _j проводится аппроксимация значений результатов измерений полиномом второй степени по методу наименьших квадратов и вычисляется разность _k между значениями оценки аппроксимирующей функции S_k и исходной реализацией результатов измерений y _k.

Для оценки среднеквадратического отклонения на каждом интервале

_j получается ряд ранжированных значений и отбрасывается два крайних значения этого ряда с целью уменьшения погрешности оценки среднеквадратического отклонения .

Далее на каждом интервале устанавливается порог , причем значение коэффициента А определяется из уравнения: А( )=7,1 ²-7 +2,6 [Токарева С.В. Исследование эффективности адаптивного метода обнаружения аномальных значений при мультипликативной шумовой составляющей (статья). - Труды Российского научно-технического общества радиотехники, электроники и связи им. А.С.Попова. «Цифровая обработка сигналов и ее применение». Вып. IX-2, Москва, 2007, с.386-389], где - априорно задаваемое значение вероятности ложной тревоги.

Превышение установленного порога разностным процессом штрафуется на каждом интервале разбиения, т.е. если

то y_k получает одно штрафное значение, равное 1. Изложенная выше процедура определения штрафов повторяется для каждой из размноженных оценок исходной реализации. При этом происходит накопление значений штрафов для элементов исходной реализации при выполнении условия (8), т.е:

где - ряд штрафных значений.

При окончании обработки для всех оштрафованных значений исходной реализации определяется среднее значение штрафов. Отсчеты, у которых суммарное число штрафов превышает среднее значение, будут определяться как аномальные.

Единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерений до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений).

Устройство для обнаружения и устранения аномальных измерений при фиксированном значении вероятности ложной тревоги (фиг.1) содержит блок хранения результатов измерений 1, вход которого является информационным входом устройства, к выходу которого подключены входы коммутаторов 2.n, к управляющим входам которых подключен выход блока разбиения на интервалы 3, который содержит генератор случайных чисел 21, распределенных по равномерному закону, выход которого подключен к входу блока устранения связанных значений 22, выход которого подключен к входу блока ранжирования 23, к выходу которого подключен вход регистра хранения выборки случайных чисел 24, чей выход является информационным выходом блока разбиения на интервалы 3, к выходам коммутаторов 2.n подключены входы блоков аппроксимации 3.n, выходы которых подключены к первым входам блоков вычитания 4.n, ко вторым входам которых подключен выход блока хранения результатов измерений 1, выходы блоков вычитания 4.n подключены к входам блоков хранения остатков 5.n, выходы которых подключены ко входам блоков ранжирования значений на интервалах 6.n, выходы которых подключены к входам блоков получения усеченных выборок 7.n, выходы которых подключены ко входам блоков вычисления оценки среднеквадратического отклонения 8.n, выходы которых подключены к входам блоков умножения 9.n, ко вторым входам которых подключен выход регистра хранения коэффициента 14, к входу которого подключен выход блока определения коэффициента 13, к входу которого подключен выход блока установки вероятности ложной тревоги 12, выходы блоков умножения 9n подключены к первым входам компараторов 10.n, ко вторым входам которых подключены выходы блоков хранения остатков 5.n, выходы компараторов 10.n подключены ко входам блоков хранения штрафов 11.n, выходы которых подключены ко входам арифметического суммирующего устройства 15, первый выход которого подключен к первому входу компаратора 17, а второй выход подключен к входу блока вычисления порога 16, выход которого подключен к второму входу компаратора 17, выход которого подключен к входу регистра хранения штрафов 18, выход которого подключен к первому входу блока устранения аномальных измерений 19, ко второму входу которого подключен выход блока задержки 26, вход которого соединен с выходом блока хранения результатов измерений 1, выход блока устранения аномальных измерений 19 подключен к входу регистра хранения 20, чей выход является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 25.

Устройство для обнаружения и устранения аномальных измерений при фиксированном значении вероятности ложной тревоги работает следующим образом. Исходная дискретная реализация результатов измерений физической величины в каждом из n каналов разбивается на m интервалов случайными числами. На каждом из m интервалов производится аппроксимация исходной дискретной реализации полиномом второй степени, коэффициенты которого определяются с помощью метода наименьших квадратов. Таким образом, определяются n оценок исходной дискретной реализации на каждом из m интервалов. В каждом из n каналов определяются остатки, путем вычитания оценок аппроксимирующих полиномов из исходной дискретной реализации на каждом из m интервалов. Далее на каждом интервале разбиения получается ряд ранжированных значений и определяется m оценок среднеквадратического отклонения по усеченным выборкам в каждом из n каналов. Затем определяется порог обнаружения аномальных измерений путем умножения значений оценок среднеквадратического отклонения на коэффициент, значение которого определяется согласно априорно задаваемой вероятности ложной тревоги для каждого интервала из m. Значения остатков, полученные на каждом из m интервалов, сравниваются с полученным порогом обнаружения аномальных измерений. При превышении значений остатков определенного порога, отсчет выборки получает одно штрафное значение. Для значений полученных штрафов из n каналов находится среднее арифметическое отдельно для каждого отсчета. Таким образом, определяются результирующие значения штрафов для каждого из отсчетов исходной дискретной реализации. По результирующим значениям полученных штрафов определяется средняя величина штрафных значений. В исходной дискретной реализации аномальными считаются те отсчеты, у которых объем полученных штрафов, превышает их среднюю величину. Единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерений до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений). Таким образом, аномальные измерения исключаются из исходной дискретной реализации, и обработанные данные поступают на выход устройства.

Такой способ обнаружения аномальных измерений реализуется следующим образом. В блок хранения результатов измерений 1 записывается исходная дискретная реализация результатов измерений физической величины. Блок разбиения на интервалы 3 формирует ранжированные последовательности случайных чисел, распределенных по равномерному закону с устраненными "связками", которые поступают последовательно на коммутаторы 2.n. На полученных интервалах в блоках аппроксимации 3.n производится аппроксимация исходной дискретной реализации полиномами 2-й степени по методу наименьших квадратов. В блоках вычитания 4.n находятся остатки путем вычитания оценок аппроксимирующего полинома из исходной дискретной реализации, записанной в блоке хранения результатов измерений 1. Значения остатков записываются в блоки хранения остатков 5.n. В блоках 6.n на каждом интервале получается ряд ранжированных значений, которые поступают в блоки получения усеченных выборок 7.n, где отбрасываются первое и последние значения каждого ранжированного ряда. Далее в блоках 8.n по усеченным выборкам вычисляются оценки среднеквадратического отклонения остатков. На каждом интервале разбиения m, значения среднеквадратического отклонения, полученные по усеченным выборкам, умножаются на коэффициент в блоках умножения 9.n. Значение коэффициента хранится в регистре 14, которое определяется в блоке определения коэффициента 13, а задается в блоке установки вероятности ложной тревоги 12. Полученные значения порогов поступают на входы компараторов 10.n, на вторые входы которых поступают данные об остатках из блоков хранения остатков 5.n. Полученные пороги обнаружения аномальных измерений сравниваются со значениями остатков. Если значение остатка превышает значение порога, то данный отсчет получает штрафное значение, которое записывается в блоках хранения штрафов 11.n. Данные из блоков хранения штрафов 11.n в каждом из n каналов поступают на входы арифметического суммирующего устройства 15, где находится среднее арифметическое штрафов отдельно для каждого из отсчетов, и формирование результирующих данных о полученных штрафах. В блоке вычисления порога 16 определяется средняя величина штрафа среди результирующих значений штрафов. В компараторе 17 сравниваются значение штрафов с их средним значением. Номера отсчетов, у которых значение штрафов превышает полученный порог, считаются аномальными и записываются в регистр хранения штрафов 18. Далее номера с аномальными значениями регистра хранения штрафов 18 и значения исходной дискретной реализации с блока 1 через блок задержки 26 поступают на входы блока устранения аномальных измерений 19, где единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерений до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений). Таким образом, аномальные измерения исключаются из исходной дискретной реализации, и обработанные данные поступают на регистр хранения 20, с выхода которого данные поступают на выход устройства.