СТ РК 34.001-2002 «Информационная технология. Сертификация баз данных. Методы обнаружения орфографических ошибок в текстовых данных»

СТ РК 34.001-2002
 
ГОСУДАРСТВЕННЫЙ СТАНДАРТ РЕСПУБЛИКИ КАЗАХСТАН
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ.
СЕРТИФИКАЦИЯ БАЗ ДАННЫХ.
МЕТОДЫ ОБНАРУЖЕНИЯ ОРФОГРАФИЧЕСКИХ ОШИБОК В ТЕКСТОВЫХ ДАННЫХ
Дата введения 2004.01.01
1 Область применения

Настоящий стандарт является организационным документом, определяющим методы, процедуры и порядок проведения испытаний баз данных (БД) с целью оценки правильности содержащихся в них текстовых данных.

Стандарт применяется ко всем видам БД, содержащим текстовую информацию, в том числе полнотекстовым, реферативным и лексикографическим БД, а также фактографическим базам данных, содержащих текстовые описания объектов и их характеристики.

Стандарт рекомендуется для применения персоналом аккредитованных испытательных лабораторий при проведении испытаний БД. Он может быть использован также специалистами, осуществляющими контроль за деятельностью испытательной лаборатории и органами арбитража, рассматривающими результаты этой деятельности. Порядок использования настоящего стандарта при испытаниях конкретной БД устанавливается соответствующей Программой испытаний.

2 Общие положения

Правильность текстовых данных в БД оценивается числом ошибок в текстовых полях.

Ошибкой называется любое искажение данных, независимо от его характера или его возникновения. Ошибка может быть случайной (сбой технических или программных средств, ошибка оператора) или преднамеренной (умышленное искажение данных, в том числе из-за непонимания).

В настоящем стандарте рассматриваются только ошибки, имеющие четкие формальные признаки. Сюда относятся только собственно орфографические ошибки (несуществующие словоформы, недопустимые сочетания символов), но не синтаксические (неправильное управление или согласование) или смысловые (неправильное употребление слов, фактические ошибки).

Орфографической ошибкой называется любое искажение текста на естественном языке, в результате которого появляется несуществующая словоформа или недопустимое сочетание символов (букв или знаков препинания).

Подразделяются следующие типы орфографических ошибок, встречающихся в текстовых полях БД:

1) пропуск, вставка, замена или перестановка букв;

2) пропуск пробела между словами или дефиса внутри слова, или, наоборот, вставка лишнего пробела или дефиса внутрь слова;

3) смешение русских и латинских букв, а также смешение букв и цифр в одном слове;

4) неправильное употребление прописных и строчных букв (строчные буквы в начале предложения, и др.);

5) повторение слов;

6) неправильное употребление знаков препинания (недопустимые сочетания знаков препинания, отсутствие пробела после знака и лишние пробелы перед знаком препинания, отсутствие точки в конце абзаца и др.).

Все рассмотренные выше типы ошибок имеют четкие формальные признаки и могут быть обнаружены автоматически с помощью специальных программ проверки орфографии.