2.3 Існуючі методи та алгоритми рішення задачі зняття морфологічної омонімії

Актуальність проблеми визначається тим, що практично всі існуючі алгоритми зняття омонімії включаються до складусинтаксичного аналізу, що створює важковирішаюче протиріччя, коли для успішного зняття омонімії необхідні точні результатисинтаксичного аналізу, для отримання яких, у свою чергу, потрібно попередньо зняти омонімію[5].

Алгоритм прихованої Марківської моделі

Існує широко відомий імовірнісний підхід, який єалгоритмом, заснованим на використанні прихованої Марківської моделі(Hidden Markov Model (HMM) tagging). Основна ідея алгоритмуполягає в тому, щоб для кожного слова, що входить у речення, вибрати граматичний клас (тег) таким чином, щоб максимізуватифункцію:P (word|tag)*P (tag|previous n tags), деP (tag | previous n tags) — умовна ймовірність (обчислена за розміченим корпусом), появи даного тега tag, за умови, щопопередні n тегів вже визначені.P (word | tag) — умовна ймовірність (також обчислена за корпусом) появи в даному місці слова word, за умови, що це слово маєданий граматичний клас tag. Алгоритм HMM має досить високу обчислювальну складність (реалізується класичним методом динамічного програмування Витерби, подібному використовуваному при обчисленні відстаніЛевенштейна) і на практиці зазвичай застосовуються різні спрощуючі припущення, спрямовані на її зниження (наприклад, використання небільш ніж трислівних послідовностей).

Точність алгоритму HMM для англійської мови складає 96%.Застосування даної моделі для російської мови може бути складним, оскільки вимагатиме розмічених корпусів дуже великого обсягу, враховуючи багатство російського словотворення і словозміни порівняно з англійською мовою[2].