Дослідники Андреас Плеснер, Тобіас Фонтобель і Роджер Ваттенхофер зі Швейцарської вищої технічної школи Цюріха застосували ШІ для злому системи перевірки reCAPTCHAv2. Вони заявили, що нейромережа здатна пройти 100% перевірок порівняно з більш ранніми спробами, рівень успіху яких не перевищував 71%.
Дослідники використовували передові моделі YOLO (You Only Look Once) для сегментації та класифікації зображень, адже reCAPTCHAv2 вимагає від користувачів позначати на зображенні області з певними предметами.
Спочатку витягувалися тип капчі та цільовий клас завдання. Потім на основі типу капчі використовувалося відповідне налаштування моделі YOLO v8. Для типів 1 і 3 всі зображення в сітці класифікуються. Це означає, що модель передбачає ймовірність класу для кожного з 13-ти, і, якщо ймовірність перевищує 0,2, то вибирає зображення. Для типу 3 процес повторюється для всіх нових зображень. Для типу 2 модель сегментує зображення і вибирає будь-яку комірку, яка перекривається сегментацією. YOLO v8 навчалася тільки для 9 із 13 можливих класів, а в інших випадках вона просто пропускає завдання.
різні об’єкти, такі як велосипеди, мости, автобуси, автомобілі та багато іншого, зі значеннями, що вказують на частку правильних прогнозів.
«Ми також зазираємо під капот reCAPTCHAv2 і знаходимо докази того, що reCAPTCHAv2 значною мірою ґрунтується на даних cookie та історії браузера під час оцінки того, чи є користувач людиною, чи ні», – додали вони.
