2 червня, за даними іноземних ЗМІ, декодер повідомив 1-го, серія змагань з кібербезпеки, які нещодавно проводяться з Palisade Research, показали, що агенти AI мають можливість конкурувати з людськими хакерами і навіть вигравали в деяких випадках.
Дослідницька група проводила фактичні бойові тести на системах AI у двох масштабних змаганнях "захопити прапор" (CTF), а тисячі гравців беруть участь у змаганнях. У таких змаганнях команди, що беруть участь, повинні вирішити проблеми безпеки, розтріскуючи шифрування, виявляючи вразливості та знаходячи приховані "прапори".
Мета тесту - перевірити, чи можуть агенти AI конкурувати з людськими командами. Результати показують, що продуктивність AI значно перевищила очікування, а більшість AI, що беруть участь, перевищили середній рівень людських гравців.
Складність систем AI, що бере участь, змінюється. Деякі команди, такі як CAI, витратили близько 500 годин на створення власних систем, а деякі команди, такі як непереборно, провели лише 17 годин на участь, оптимізуючи підказки існуючих моделей Enigma та Claude Code.
У першому змаганні, який називається "AI проти людей", шість команд AI змагалися проти близько 150 команд людини. Усі гравці повинні були виконати 20 криптографічних та зворотних інженерних питань протягом 48 годин.
Четверо з семи учасників ШІ успішно зламали 19 питань. Команда AI з найвищою рейтингом посіла топ-5% від загального списку, а її загальна ефективність була кращою, ніж у більшості людських гравців. Усі питання змагань можуть вестись на місцевому рівні, що знижує технічний поріг для ШІ.
Незважаючи на це, деякі досвідчені людські гравці все ще не відстали. Деякі гравці зазначили, що вони брали участь у багатьох міжнародних командах, а їх багатий практичний досвід CTF та ознайомлення із загальними стратегіями вирішення проблем були ключовим для їх конкурентоспроможності.
Друга гра "Кібер -апокаліпсис" була набагато складнішою. Агенти AI повинні були зіткнутися з новими типами питань і конкурувати з майже 18, 000 людськими гравцями. Багато з 62 завдань потребували взаємодії із зовнішніми серверами, які оскаржували системи AI, які в основному покладаються на локальні обчислення.
Згідно з повідомленнями, у змаганнях брали участь чотири агенти AI, з яких CAI виконав найкраще, виконавши 20 завдань та зайнявши 859 -е місце, зайнявшись у топ -10% усіх команд -учасниць та 21% активних команд. Palisade Research заявив, що ефективність системи AI перевищила близько 90% команд людини.
Дослідники також проаналізували труднощі питань, вирішених ШІ. Виходячи з часу, який вимагають провідні людські команди для вирішення питань, було встановлено, що AI має 50% успішності у вирішенні питань, які потребували майстрів людини близько 78 хвилин. Іншими словами, AI має здатність вирішувати складні проблеми.