????????? ????????????? ?????

Одной из проблем, стоящих перед распознаванием именованных сущностей, является извлечение точной информации из текстов, помогающих людям в их повседневных процессах. Одним из таких процессов извлечения информации является редактирование текста, которое происходит в некоторых областях, таких как образование и полиция. Такие правки занимают много времени и чреваты ошибками. Цель данной работы - принять решение об окончательной правке, используя лучшие классификации параллельных правок одного и того же текста, сделанных одним или несколькими рецензентами. Важным шагом является создание метрики, которая помогает в выборе классификаций и генерирует значение согласованности, которое можно проанализировать. Также проводится библиографическое исследование существующих метрик, которые могут помочь в создании новой метрики.