Алгоритм не замінить редактора: дослідники пояснили, чому важко завчасно помітити упередженість Вікіпедії
Новий опис NPOV-Onset показує пастки автоматичної перевірки нейтральності: датування ботами, неповні описи редагувань і хибно підібрані порівняння.

Чи може алгоритм помітити, що стаття Вікіпедії стає упередженою, ще до втручання редактора? Новий допис Wikimedia Diff від 30 жовтня описує незалежне дослідження NPOV-Onset, у якому просте очікування «текст поступово псується — детектор вмикає тривогу» не підтвердилося для основних перевірених сигналів. Практична користь такого інструмента може бути іншою: допомагати людям обирати, що перевірити насамперед, а не автоматично вирішувати, які твердження нейтральні.

Проблема почалася не з моделі, а з правильних дат
Редактори англомовної Вікіпедії використовують службові позначки, коли нейтральність статті або її частини викликає суперечку. Але дата на шаблоні не обов’язково означає момент, коли людина вперше заявила про проблему. За повідомленням авторки, приблизно 26% датованих службових шаблонів востаннє обробляв бот, який проставляв місяць. Якщо без перевірки взяти цю дату, можна фактично вимірювати роботу бота.
Інша пастка — короткі описи редагувань. Пошук за ними знаходив лише близько 53% людських редагувань, які насправді додавали відповідну позначку. Тобто відсутність потрібного формулювання в описі не означала, що редактор нічого не позначав. Це важливе обмеження для будь-якої автоматичної статистики, побудованої лише на таких описах.
Що зібрали в NPOV-Onset
Команда описує близько 2 000 подій суперечки щодо нейтральності в англомовній Вікіпедії. Для кожної події через пошук в історії змін визначали точну редакцію, яка ввела шаблон. Потім добирали статтю без такої позначки, зіставну за темою й активністю редагування.
Чому потрібна саме активність? Якщо порівняльна сторінка протягом потрібного періоду майже не змінювалася, вона могла створювати надто легкий фон для детектора й прикрашати його результати. Автори підкреслюють, що дані отримували лише з відкритих редакцій через MediaWiki Action API: код не входив до облікового запису й не редагував сторінок.
Основні відмінності були помітні задовго до позначки
Згідно з дописом, сторінки, які пізніше отримували шаблон, уже за рік до цього мали більш суб’єктивне звучання, ніж порівняльні статті. Розрив залишався приблизно сталим, а не зростав до моменту позначення. Окрема перевірка однобічності — чи достатньо представлені релевантні погляди, незалежно від стилю викладу — дала подібну картину.
Один слабкий часовий сигнал усе ж з’явився після спеціального навчання детектора. Але його відтворила й проста модель, що працює з наборами слів. За інтерпретацією команди, це радше поступове накопичення характерної лексики навколо суперечки, а не надійна ознака зміни глибшого змісту. Найпомітніші зміни біля дати спору стосувалися активності редакторів.
Для читача важлива різниця між чергою перевірки й вердиктом
Автори повідомляють, що ранжування за сталим сигналом зосереджувало майбутні позначені сторінки у верхній частині списку приблизно в 4–5 разів частіше за базовий рівень. Це не 4–5-кратне зростання точності встановлення правди й не частка упереджених статей у всій Вікіпедії. Йдеться про спосіб спрямувати людську увагу в межах конкретної перевірки.
Практичний висновок для користувача: службова позначка має спонукати прочитати пояснення, переглянути джерела та контекст суперечки. Її відсутність не варто вважати автоматичним сертифікатом нейтральності. Так само результат детектора не повинен підміняти аналіз того, як саме подано різні погляди.
Це опис незалежної роботи від Mahima Agarwal і Dev, опублікований у блозі спільноти, а не повідомлення про запуск автоматичного судді у Вікіпедії. Мітка в даних означає, що редактор висловив сумнів, а не що машина довела ненейтральність. Висновки стосуються англомовної вибірки; переносити числа на українську Вікіпедію чи оцінювати за ними окремих редакторів не можна. Команда прямо просить не використовувати набір для профілювання людей.
Перекладено й адаптовано редакцією BIB за дописом AgarwalMahima / Mahima Agarwal у Wikimedia Diff. Адаптація поширюється на тих самих умовах CC BY-SA 4.0. Текст дослідження, код і датасет за зовнішніми посиланнями не передруковувалися; незалежного відтворення результатів редакція не проводила. Фото: Backlit keyboard, User:Colin, CC BY-SA 4.0. Wikimedia не схвалює і не спонсорує цю адаптацію.
Матеріал перекладено, переказано та доповнено редакцією українською мовою.
Читайте далі — ми вже розбираємо наступну важливу тему.


