KubeEdge-Ianvs відкрив benchmark для роботизованого складання: 2227 кадрів і 91,19% mAP50

Проєкт KubeEdge-Ianvs представив відтворюваний benchmark для embodied AI в електронному виробництві. На відміну від тестів, які окремо вимірюють detection або grasping, набір охоплює послідовність від сприйняття до маніпуляції та фінальної перевірки якості. Дані містять RGB і depth, force/torque із зап’ястя робота, траєкторії руху та мітки успішності складання.

Benchmark моделює складання RAM, систем охолодження, CPU socket, гнучких плат і security chips.
Що входить до набору
Опубліковано 2227 кадрів у п’яти епізодах. RAM має 451 кадр, cooling mounts — 400, CPU slot — 400, flexible circuit — 400, chip key — 577. Кожен епізод містить RGB, depth і segmentation, YOLO annotations, force/torque logs, пози робота та metadata. Розмір набору становить близько 830 МБ.
Pipeline складається з трьох етапів. YOLOv8 визначає положення й орієнтацію деталей, модуль маніпуляції виконує force-controlled рухи, а CNN перевіряє фінальний стан. Ianvs запускає всі модулі як одне benchmarking job і формує порівнюваний звіт.
Детекція компонентів на тестовій сцені складання.
Bounding boxes показують локалізацію деталей перед маніпуляцією.
Окремий тестовий кадр із передбаченнями моделі.
Результати baseline
У звіті наведено 97,7% precision, 85,9% recall та 91,19% mAP50 для detection. Бінарний assembly success rate становив 83,33%, а комбінований показник — 77,59%. Водночас assembly accuracy істотно різнилася: CPU slot отримав 55%, RAM — 60%, cooling mounts — 65%, flexible circuit і chip key — по 70%.
Найкращий баланс F1 спостерігається приблизно біля confidence 0,5.
Крива демонструє поведінку precision за різних порогів упевненості.
Trade-off між точністю й повнотою для baseline detection.
Підвищення порога confidence зменшує доступний recall.
Де модель помиляється
RAM показала нижчий recall — 73,5%, що автор пов’язує з відблисками поверхні. CPU socket виявився найскладнішим для точного позиціювання. Flexible circuit потребує кращого force feedback через деформацію під час захоплення. Саме розділення detection і assembly metrics корисне: висока mAP не гарантує, що робот правильно вставить деталь.
Розподіл labels допомагає оцінити баланс класів навчального набору.
Просторові кореляції міток показують структуру сцен складання.
Практичне застосування
Розробник може під’єднати власний perception або manipulation module, зберігши test environment і метрики. Це дає змогу порівнювати алгоритми на однакових епізодах, а не на різних внутрішніх наборах. Для виробничих команд особливо цінні force/torque і траєкторії: вони дозволяють досліджувати не лише правильність bounding box, а й причину механічного провалу.
Обмеження
Це baseline у симуляційному й обмеженому наборі сценаріїв, а не сертифікація промислового робота. 2227 кадрів недостатньо, щоб охопити всі камери, освітлення, матеріали й виробничі допуски. Заявлені метрики не можна напряму переносити на реальну лінію без domain validation. Зовнішній Kaggle dataset також має власні умови: у цій публікації використано лише ілюстрації, що входять до Apache-2.0 репозиторію сайту KubeEdge, а не сторонні файли набору.
Автор першоджерела: Ronak Raj.
Ліцензія: Apache License 2.0 — https://github.com/kubeedge/website/blob/master/LICENSE. Матеріал перекладено, переказано й адаптовано українською мовою.