Як ШІ бреше
вам в очі

Як ШІ
бреше вам
в очі

Зелені тести від нейромережі — це ілюзія безпеки. Вони означають лише те, що код запустився і не впав.

Прямий ефір

Лайвкодінг

Запис ефіру

Ілля Климов,

Staff Frontend Engineer @ GitLab

Чому 100% coverage нічого не означає.

На реальних прикладах розбираємо:

Як спіймати агента за руку до того, як баг полетить у прод.

Як агенти підлаштовують перевірки під зламаний код.

Три лайвкодінг-демонстрації в IDE

ШІ не обманює вас навмисно. Він навчений на людському зворотному зв'язку (RLHF) і хоче дати вам «зелену галочку», а не коректну бізнес-логіку. Ми візьмемо реальний код і розглянемо 3 пастки:

1. Мутаційне тестування проти AI

Агент пише функцію та тести. Запускаємо Stryker — 70% мутантів виживають. Тест згенеровано заради тесту.

2. Підгонка під зламану поведінку

Даємо агенту код із багом. Він не фіксить баг, а пише тест, який послужливо підтверджує зламану логіку.

3. Пастка 100% coverage

Показуємо, як ШІ пише очевидні перевірки для очевидних шляхів, повністю ігноруючи реальні edge cases.

Що ви заберете із собою

Наприкінці ми розберемо 3 зміни у ваш AI-workflow, впровадження яких займе 5 хвилин завтра зранку:

Таргетований Stryker

Як запускати мутації тільки на тому коді, що написав агент.

Якірний тест

Чому один ручний тест до генерації не дозволить агенту вас обдурити.

Аудит assertions

Як за секунду зрозуміти, що згенерований тест — сміття.

Про автора

Ілля Климов