AI навчився читати китайський Брайль із фото й показувати, де може помилятися

Нова система розпізнавання китайського шрифту Брайля перетворює фото або скан документа на текст і показує, у яких символах сама не впевнена. У п’ятиблоковій перевірці метод досяг 99,2% F1 для крапок і помилки символів 1,8%. Найважливіша ідея не в черговій «чорній скриньці»: система окремо відновлює структуру шестикрапкового знака, оцінює ризик і лише для сумнівних комірок залучає контекст.

Чому Брайль складно читати камерою

На чистій схемі кожна комірка Брайля — це шість передбачуваних позицій. У реальному документі тиснення нерівне, папір має текстуру, освітлення падає під кутом, аркуш перекошений, а зворотний бік може давати «примарні» крапки. Якщо звичайний детектор помилився на ранньому етапі, помилка переходить у код комірки, а потім — у ціле речення.

Автори відмовилися від прямого перетворення картинки на текст. Спершу алгоритм вирівнює область документа й підганяє сітку. Потім кожна потенційна крапка отримує ймовірність, а топологічні правила допомагають відновити допустиму шестикрапкову комбінацію. Система обчислює впевненість як для окремих крапок, так і для цілої комірки.

Лише позиції з низькою впевненістю розгортаються в невеликий список кандидатів. Їх повторно оцінюють за локальною структурою та мовним контекстом. Це схоже на роботу уважного коректора: не перечитувати однаково весь документ, а зосередитися там, де зображення або зміст викликає сумнів.

Результати перевірки

За документною п’ятикратною крос-валідацією система отримала Dot-F1 0,992 ± 0,002, character error rate 0,018 ± 0,003 та BLEU-4 74,1 ± 1,2. Просте правило з прямим зіставленням дало CER 0,061 і BLEU-4 52,3. Варіант без структурних обмежень теж був гіршим: CER 0,033.

За рівномірного світла помилка символів становила 1,6%, за сильного нахилу — 2,6%, а за сильного розмиття — 3,1%. Водночас частка позицій, де запускався додатковий механізм уточнення, зростала від 5,2% за хорошого світла до 18,5% за сильного розмиття. Тобто оцінка невпевненості справді реагувала на погіршення фото.

Швидкість і ціна точності

За стандартного налаштування додаткове уточнення запускалося для 10,8% комірок. Автори оцінюють накладні витрати такого режиму в 14% у параметричному тесті, а безпосередній модуль уточнення — у 2 мс на область, або близько 6% загального часу конвеєра. Збільшення списку кандидатів із трьох до п’яти знижувало CER лише з 0,018 до 0,017, але піднімало додаткові витрати з 14% до 20%. Це наочний приклад межі, після якої додаткова обчислювальна складність майже не окупається.

Де технологія може бути корисною

• Оцифрування бібліотек. Старі підручники та архіви можна перетворювати на пошуковий текст.
• Мобільне читання. Камера телефона потенційно може озвучити сторінку без спеціального сканера.
• Допомога коректору. Карта невпевненості показує, які місця треба перевірити вручну.
• Контроль якості друку. Неправильне тиснення можна виявляти до видачі документа читачеві.

Важливі обмеження

Навчальний корпус тексту походив із китайських новинних речень, програмно перетворених у Брайль, а оцінювання проводили на сканованих і сфотографованих документах із контрольованою розміткою. Між анотаторами була лише помірна узгодженість: Cohen’s kappa 0,55. Автори прямо називають невирішеними складніші випадки з пунктуацією, числами, спеціальними символами, переходами між рядками, сильними деформаціями та «примарними» відбитками.

Результат також стосується китайського Брайля. Інші мови мають власні скорочення, правила та контекст. Тому цифри не можна автоматично переносити на український або англійський Брайль, поки модель не пройде окрему перевірку на відповідних документах.

Практичний висновок: корисна система доступності повинна не лише видавати текст, а й чесно показувати межі впевненості. Саме така діагностика робить автоматизацію придатною для архівів і помічних застосунків, де непомічена помилка може змінити зміст.

Перекладено й адаптовано за дослідженням Yu Sun, Wenhao Chen, Yihang Qin, Wenhui Zhao та Haoran Sun у PLOS One від 25 вересня 2026 року. Текст і оригінальна схема поширюються за CC BY 4.0.