Как ИИ врёт
вам в лицо
Как ИИ
врёт вам
в лицо
Зелёные тесты от нейросети – это иллюзия безопасности. Они означают лишь то, что код запустился и не упал.
Зелёные тесты от нейросети – это иллюзия безопасности. Они означают лишь то, что код запустился и не упал.
Илья Климов,
Staff Frontend Engineer @ GitLab
На реальных примерах разбираем:
Три лайвкодинг-демонстрации в IDE
ИИ не обманывает вас злонамеренно. Он обучен на человеческой обратной связи (RLHF) и хочет дать вам «зелёную галочку», а не корректную бизнес-логику. Мы возьмем реальный код и рассмотрим 3 ловушки:
1. Мутационное тестирование против AI
Агент пишет функцию и тесты. Запускаем Stryker — 70% мутантов выживают. Тест сгенерирован ради теста.
2. Подгонка под сломанное поведение
Даем агенту код с багом. Он не чинит баг, а пишет тест, который услужливо подтверждает сломанную логику.
3. Ловушка 100% coverage
Показываем, как ИИ пишет очевидные проверки для очевидных путей, полностью игнорируя реальные edge cases.
Что вы заберете с собой
В конце мы разберем 3 изменения в ваш AI-workflow, внедрение которых займет 5 минут завтра утром:
Таргетированный Stryker
Как запускать мутации только на том, что написал агент.
Якорный тест
Почему один ручной тест до генерации не позволит агенту вас обмануть.
Аудит assertions
Как за секунду понять, что сгенерированный тест — мусор.
Илья Климов
Staff Frontend Engineer @ GitLab
- ✓22 года в индустрии, PhD in Computer Science.
- ✓Каждый день работает с enterprise-кодовой базой, которую защищают 4 миллиона тестов.
- ✓Сжег токены в промышленных масштабах, чтобы выяснить, как заставить ИИ не ломать легаси-код.
Узнайте, как ловить агента на халтуре до мерджа в прод
Трансляция прошла в прямом эфире. Участие бесплатное, но регистрация обязательна — ссылку на комнату и дополнительные материалы пришлем в закрытый бот.
Частый вопрос: «А будет ли запись?»Да. Но доступ к записи эфира мы отправим только тем, кто оставит заявку на этой странице.