Задокументировать поведение скрипта оценки или поменять его

[kmike]

Официальный скрипт не считает за ошибку, если в "правильном" варианте какой-то пометки нет, а в предсказанном - есть. Например,

7	кто	кто	PRON	Case=Nom|Number=Sing
7	кто	кто	PRON	Case=Nom|Gender=Masc|Number=Sing

ошибкой считаться не будет. В обратную сторону это не работает - если файлы поменять местами, то такое будет засчитываться за ошибку. Это специально сделано? Если да, то это бы хорошо задокументировать. Такое поведение - вполне удобное, как мне кажется.

[AlexeySorokin]

Да, это сделано специально, чтобы граммемы, не оцениваемые в соревновании (например, вид глагола), не влияли на качество.

[kmike]

@AlexeySorokin не, тут немного другое - для PRON ведь категория Gender - оцениваемая.
Более очевидный пример - если для ADJ в предсказанных данных добавить Variant=Brev, то это не будет засчитано как ошибка.

Для меня-то это удобно - ведь, например, в ГИКРЯ для слова "кто" род не указан, а в opencorpora/pymorphy2 - указан, и если текущее поведение менять, то род будет засчитываться как ошибка (хотя вроде это полезная доп. информация).