Лекция 14. AI в телекоммуникациях, сетевой инфраструктуре и кибербезопасности¶
Лекция 14 · 39 слайдов
Hook: CrowdStrike BSOD LGA¶
[медленно, серьёзно]
Девятнадцатое июля две тысячи двадцать четвёртого года. Четыре часа девять минут по Гринвичу. Один файл — один обновлённый конфигурационный файл — отправился от вендора кибербезопасности CrowdStrike ко всем его клиентам одновременно. Глобально. Без канареечного деплоя. Без поэтапной раскатки.
[пауза 2 сек]
К утру того дня в Соединённых Штатах табло вылетов в аэропорту Ла-Гуардия — вот это, на экране — выглядело так. Восемь с половиной миллионов Windows-устройств по всему миру вошли в синий экран смерти. Delta Airlines отменила семь тысяч рейсов. Больницы переходили на бумажные карточки. Банкоматы не работали. Системы вызова девять-один-один в нескольких штатах вышли из строя.
[пауза]
Совокупный экономический ущерб — более пяти миллиардов долларов. Только за первые две недели.
Главное в этой истории — это не атака. Никто никого не взламывал. Это автоматический деплой, который раньше успешно работал тысячи раз. CrowdStrike много раз в день рассылал такие файлы своим клиентам. Channel File 291 — двести девяносто первый файл конфигурации Falcon в череде регулярных обновлений — оказался с несоответствием: двадцать одно поле вместо двадцати ожидаемых. Внутренний валидатор не поймал. Канарейки не было. И одна арифметическая ошибка остановила восьмую часть всех корпоративных Windows-машин планеты.
[пауза]
Главный вопрос сегодняшней лекции — вот этот, внизу слайда: где именно на лестнице автономии искусственного интеллекта произошёл этот сбой? И что нужно знать вам — будущим инженерам — чтобы не повторить?
Это и есть тема лекции четырнадцать.
[Переход на s02]
Cover¶
Лекция четырнадцать. AI в телекоммуникациях, сетевой инфраструктуре и кибербезопасности.
Три поддомена под одной общей осью. Телеком — мобильная связь и интернет. AIOps — эксплуатация серверной инфраструктуры. И кибербезопасность — защита от атак.
Все крупные каскадные сбои двадцать четвёртого и двадцать пятого годов произошли на верхнем уровне автономии AI. К концу лекции мы с вами увидим, почему.
Keystone: лестница автономии AI¶
[медленнее]
Это keystone-слайд лекции. Несущий. Мы будем возвращаться к нему каждый раз, когда говорим про конкретный инструмент. Запомните эту картинку.
Лестница имеет три уровня. Видит. Решает. Действует.
[пауза 2 сек]
«Видит» — самый безопасный. AI наблюдает за телеметрией, ищет аномалии. Ошибся — ложное срабатывание. Цена — время аналитика. Datadog, Dynatrace, EDR-сенсоры. Низкий масштаб поражения.
«Решает» — посередине. AI ставит диагноз. Чат-бот сервиса. LLM-помощник SRE. Человек ещё в контуре. Но появляется склонность доверять автомату. Средний масштаб.
«Действует» — самый опасный. AI выполняет действие сам. xApps перенастраивает радиосеть. Auto-remediation перезапускает кластер. SOAR блокирует доступ. Пиковый масштаб поражения.
[пауза]
И главное наблюдение. Все крупные каскадные сбои последних двух лет — CrowdStrike, Cloudflare, AWS, Azure, Replit, Cursor с PocketOS — произошли наверху. На «Действует».
[пауза 2 сек]
Один важный нюанс. Это рабочий термин нашей лекции. В академической литературе опоры — Parasuraman и Sheridan две тысячи года, десять уровней автоматизации. SAE J-три-нуль-один-шесть для автомобилей. Это не OODA — OODA это петля внутри миссии. Наша лестница — таксономия по масштабу поражения. На защите ссылайтесь на Parasuraman и Sheridan. Внутри лекции — лестница.
И последнее. Вендор может продавать LLM как наблюдателя — а под капотом агент сам действует. Это скрытое «Действует». Hidden Act. Этот паттерн мы увидим сегодня несколько раз.
Карта лекции¶
Структура — пять разделов.
Первый — телеком. Стек оператора, чат-боты, мошенничество.
Второй — AIOps. Каскадные сбои двадцать пятого года.
Третий — кибербезопасность. Три угла.
Четвёртый — синтез. Таблица, шесть критериев, каркас.
И пятый — замыкание. Мост к Лекции пятнадцать про AI в науке.
В мини-глоссарии — пять терминов. Масштаб поражения. Сдвиг распределения. Инъекция в промпт. Человек в контуре. Канареечный деплой.
Поехали.
Стек оператора связи¶
Это первый раздел из пяти. Телеком.
Прежде чем разбирать конкретные применения, давайте договоримся о стеке. Современная сеть оператора связи — это вертикаль из четырёх крупных слоёв.
Внизу — радиосеть доступа. RAN. Базовые станции, антенны. Самый горячий путь с самыми жёсткими требованиями к задержке.
Выше — ядро. Маршрутизация, аутентификация, обработка вызовов. Сюда же входят функции законного перехвата — СОРМ в России, CALEA в США — и экстренные вызовы.
Ещё выше — системы поддержки бизнеса и операций. Биллинг, тарификация, наряды для полевых бригад.
И сверху — клиентский слой. Колл-центры, чат-боты, мобильные приложения.
[пауза]
AI к двадцать шестому году присутствует на каждом уровне — но с разным масштабом поражения. И наша с вами лестница автономии накладывается на этот стек очень чётко: на каждом слое есть «Видит», есть «Решает», есть «Действует». Чем глубже в инфраструктуру, тем чувствительнее к сбоям. К биллингу и экстренным вызовам мы вернёмся в разделе «когда AI не нужен».
AI-RAN и Open RAN¶
Радиосеть. Два ключевых понятия.
Open RAN — открытая архитектура с разделением мозга и железа. Раньше станция была монолитом одного вендора. Open RAN: антенну у одного, baseband у другого, ПО у третьего. Цель — снизить зависимость.
Внутри — RIC, RAN Intelligent Controller. Центральный мозг. На нём два класса приложений с разной скоростью.
rApps — приложения политик. Цикл минуты. Оптимизация, энергосбережение. У нас — уровень «Решает». При сбое минуты на коррекцию.
xApps — приложения реального времени. Цикл миллисекунды. Управление мобильностью. У нас — уровень «Действует». При сбое секунды до деградации канала.
[пауза]
Главный драйвер AI-RAN — не качество связи. Классический RAN уже хорош. Главный драйвер — энергопотребление. Радиосеть — сорок-шестьдесят процентов энергобюджета. Снижение на двадцать-тридцать процентов даёт десятки миллионов в год. Nokia AVA с KDDI заявляет до пятидесяти процентов в low-traffic зонах. Это бизнес-кейс, не радикальное улучшение связи.
Клиентские LLM: TOBi, AURA, Verizon¶
Поднимемся на клиентский слой. Здесь большие языковые модели пришли массово в двадцать третьем-двадцать четвёртом годах и сейчас — стандарт колл-центров.
Vodafone TOBi и SuperTOBi — миллион взаимодействий в месяц, семьдесят процентов first-time resolution. SuperTOBi построен на Azure OpenAI, раскатан в Италии, Португалии, Германии, Турции.
Telefónica AURA — четыреста миллионов взаимодействий в год, более тысячи сценариев использования, около трёх миллионов уникальных пользователей в месяц.
Verizon с Gemini — клиентский помощник для оформления тарифов и обработки счетов, заявленная точность ассистирования девяносто шесть процентов.
[пауза]
К этим цифрам нужно относиться аккуратно. Возьмём «семьдесят процентов first-time resolution» у TOBi. Это процент сессий, которые бот закрыл сам, не передав человеку. Это не значит, что семьдесят процентов клиентов получили правильный ответ. Часть из них могли принять неверный ответ за правильный и положить трубку. Это структурное ограничение метрик self-service ботов: их легко завысить, занижая порог эскалации.
Честный вопрос вендору — какая доля клиентов после общения с ботом всё равно пришла в живой канал в течение недели. Эта метрика гораздо более показательна. Запомните её — это образцовый пример того, как разные определения одной и той же метрики дают разные картины.
Триархия провалов клиентского AI¶
[медленнее]
Три случая, дающих рабочую классификацию. Триархия провалов клиентского AI. Переносится на любого оператора, банк, ритейлера.
Первый — бизнес-разворот. Klarna. Февраль двадцать четвёртого: CEO Себастьян Семьятковский объявил, AI-ассистент заменил работу семисот живых агентов. К маю двадцать пятого CEO сменил позицию: «недооценили человеческое». Klarna возвращает агентов. Не «AI плохой» — «заменить семьсот одной моделью» оказалось хрупкой гипотезой.
Второй — юридическая ответственность. Дело Moffatt против Air Canada. Чат-бот выдумал политику тарифов на похороны. Клиент поехал, попросил возмещение — отказ, политики не было. Суд: восемьсот двенадцать канадских долларов плюс прецедент. Компания отвечает за всё, что говорит её бот. Урок: если LLM выдаст ложь про тариф — оператор платит из своего кармана.
Третий — деградация UX. Vodafone Italy SuperTOBi. Громких провалов не было, но NPS просел. SuperTOBi был умнее в понимании текста, но эффективнее затягивал клиента в долгие диалоги вместо эскалации. Урок: «лучше понимает» не равно «эффективнее решает».
Сводный вывод: гибрид «AI плюс человек» побеждает полную автоматику.
Три вопроса вендору¶
Самый важный практический инструмент лекции. Выпишите прямо сейчас на лист бумаги.
Три вопроса. Любому вендору. Любому AI-продукту.
Первый. Какой был baseline до AI? Вендор говорит «минус тридцать процентов MTTR». Два термина рядом: MTTD — среднее время до обнаружения; MTTR — среднее время до восстановления. От чего тридцать процентов? Без baseline — цифра ноль.
Второй. Окно измерения и методология. Production или demo? PSM, propensity score matching — это наблюдательное сравнение, слабее RCT. Pre-Post — ещё слабее. Какие другие изменения в окне?
Третий — самый важный. Канарейка и откат. Canary deployment — раскатка на один процент перед ста. Сломалось на одном — видите и откатываете. Без канарейки вы автоматически в группе риска. CrowdStrike — это ровно тот случай.
[пауза]
И внизу слайда — особое внимание. Скрытое «Действует». Вендор продаёт LLM как наблюдателя, а под капотом — автономные действия. Спрашивайте: где затвор между уровнями? Кто принимает финальное решение?
Голосовая биометрия и deepfake¶
Уровень «Видит» — обнаружение мошенничества. Subex, AT&T с детекцией SIM-swap — ML отмечает паттерны, человек проверяет. Узкая зона ущерба, работает.
Но есть мост к кибербезопасности.
Голосовая биометрия — одна из главных побед AI в анти-fraud. Звонишь, говоришь «идентификация» — система верит, что это вы. В двадцать четвёртом году эта победа поломалась.
По данным Pindrop за двадцать пятый год — рост попыток фрода с deepfake-голосами на тысячу триста процентов год к году. Один из пятисот девяноста девяти вызовов — мошенничество. Глобальные потери от телеком-фрода — сорок один миллиард долларов.
Обучение голос-клона: достаточно секунд публичного аудио. Реакция: Microsoft в сентябре двадцать пятого прекратил Azure Speaker Recognition. AWS Voice ID сворачивается к маю двадцать шестого.
[пауза]
Ключевой урок. AI-проблема — deepfake — ломает AI-решение — голос-биометрию. Защита — не другой AI-детектор. Защита — многофакторная аутентификация плюс классическая криптография плюс поведенческие протоколы. Принцип повторится в кибере — Arup, Ferrari.
AT&T и Rogers¶
Два пред-CrowdStrike каскада в телекоме. Не AI, но та же структура.
AT&T, февраль двадцать четвёртого: сотрудник развернул сетевой элемент с неверной конфигурацией. Сто двадцать пять миллионов устройств без связи на двенадцать часов.
Rogers, июль двадцать второго: инженер удалил route-filter. Двенадцать миллионов канадцев без связи на девятнадцать часов.
AI не было. Структура — та же: изменение на все устройства разом, без канарейки. Когда добавляется AI-агент, делающий это быстрее — риск не уменьшается. Умножается.
Когда AI НЕ нужен в телекоме¶
Шесть мест, где AI в телекоме не нужен или вреден.
Биллинг — детерминированная определённость, LLM probabilistic.
Экстренные вызовы — регуляторный бюджет задержки.
Законный перехват — нарушит CALEA.
Криптографические операции — никогда ML.
URLLC — миллисекундная задержка, не probabilistic решения.
EU AI Act — критическая инфраструктура high-risk, объяснимость обязательна.
Альтернативы в телекоме¶
К каждому критерию — конкретная не-AI альтернатива.
Классический 3GPP SON с точными порогами и таблицами соседей — вместо ML-SON.
Erlang-моделирование и MMc-очереди — вместо ML-прогноза трафика, если задача стационарная.
ПИД и MPC — proportional-integral-derivative и model-predictive control — вместо чистого reinforcement learning. ПИД имеет формальные гарантии стабильности.
Федеративное обучение плюс дифференциальная приватность — вместо централизованного ML на сырых данных клиентов.
И главный архитектурный паттерн — композитный. «AI наблюдает, правила решают». ML рекомендует — rule-based ядро применяет с учётом безопасности. Этот паттерн повторится в AIOps и в кибербезопасности.
Section divider: AIOps¶
Переходим ко второму разделу. AIOps. Это девятнадцать минут — самая длинная и плотная секция, потому что здесь лестница автономии видна наиболее ясно.
Уровень «Видит» в AIOps¶
AIOps — Artificial Intelligence for IT Operations. Термин Gartner с шестнадцатого года. К двадцать шестому году — стандартный слой стека observability.
На уровне «Видит» AI работает хорошо. Несколько примеров.
Dynatrace Davis AI у ADT — заявленное снижение MTTR минимум в два раза в сложных случаях. Сложные инциденты, требовавшие часов ручного расследования, разрешаются за секунды.
Datadog Bits AI SRE — анонсирован на DASH двадцать пятого года, GA в декабре. Обучен на тысячах реальных инцидентов клиентской базы Datadog.
Cisco ThousandEyes с Kamstrup — сорок процентов снижения downtime, тридцать процентов улучшения availability. Это один из немногих methodologically-honest case studies — Cisco указывает методологию и базу.
Splunk Mission Control в T-Mobile. Walmart Element. Kentik AI Advisor у Equinix.
Главный урок этой подсекции — на уровне «Видит» AI работает. ML обнаруживает аномалии, которые человеку видеть дольше и дороже. Главное — не давать AI самой принимать решения, особенно деструктивные. Аналитик читает рекомендации, решает сам. Масштаб поражения при ошибке — минуты аналитика.
Уровень «Решает»: собственный постмортем Anthropic¶
[медленнее]
Уровень «Решает». AI ставит диагноз. Это, возможно, самое опасное место в AIOps, потому что плохой диагноз ведёт к плохому фиксу, который выполняет правильный человек правильными инструментами — но не туда.
И вот здесь самый поучительный момент лекции.
В апреле двадцать шестого года — буквально месяц назад — Anthropic опубликовал детальный постмортем трёх перекрывающихся багов в Claude Code за период март-апрель двадцать шестого. Тихое переключение глубины рассуждения с high на medium четвёртого марта. Баг кеширования на пересечении prompt caching и extended thinking двадцать шестого марта. Усечение сессионного контекста ради экономии шестнадцатого апреля.
Шесть недель деградации качества.
[пауза]
Главное — собственные evals Anthropic не поймали регрессии. Сигнал, которому компания в итоге доверилась — жалобы пользователей.
Отдельно — выступление Алекса Палкуи на QCon London девятнадцатого марта. Цитата: «Claude выдаёт восьмидесятипроцентную историю, которая красива, читабельна и убедительна — но плохо находит реальные корневые причины». Это не маркетинговое утверждение. Это собственное признание SRE-инженера Anthropic.
[пауза]
Три урока. Первый. У Anthropic — world-class eval infrastructure — три регрессии подряд. Если у них не работает — у вас тоже не будет работать «у нас отличные evals».
Второй. Plausible-sounding не равно correct. LLM может выдавать связный убедительный нарратив, который звучит правильно — и быть неверным.
Третий. Сигнал пользователей оказался чувствительнее метрик. Для распознавания деградации реальных сценариев субъективный фидбек чувствительнее объективной метрики.
И параллельная картина — DORA Report двадцать пятого. На индивидуальном уровне продуктивность растёт, на team-level метрики ухудшаются. Делив-стабильность падает на семь и две десятых процента на каждые двадцать пять процентов adoption AI. Это парадокс.
Главный итог — на уровне «Решает» человек-в-петле обязателен. Самопризнание поставщика (vendor own-disclosure) — самый честный сигнал, в десять раз ценнее любого маркетингового слайда.
Уровень «Действует» в AIOps: positive frame¶
Перейдём к уровню «Действует» — позитивный фрейм. Сначала покажу, как это выглядит, когда работает. Потом — как в неудачные дни.
Cisco DNA с AI-driven assurance. Multi-billion-dollar campus networking refresh. Заявлено: detect, diagnose, remediate в одном продукте.
Juniper Mist AI Marvis. Self-driving Wi-Fi. AI автоматически вносит RF-коррекции без human approval. Continuous radio resource management. Gartner лидер.
ServiceNow proactive network test и repair agents. Одна глобальная энергетическая компания сократила время локализации угрозы на девяносто семь процентов, сэкономила миллион двести тысяч часов через автоматизацию.
Netflix — пятьдесят шесть процентов memory configuration errors auto-remediated без human intervention. Costs снижены на пятьдесят процентов.
Почему у Netflix работает? Четыре условия. Высокообъёмные однотипные конфигурации. Tight feedback loop. Культура chaos engineering — Chaos Monkey, постоянная инъекция отказов. И явные ограничения зоны ущерба.
[пауза]
А теперь перенесите эти четыре условия на CrowdStrike. Все четыре нарушены: low-volume kernel-level change, single global rollout, no canary, no rollback rehearsal. Результат — восемь с половиной миллионов BSOD.
Это setup. Сейчас разберём каскады.
Каскадные сбои 2025: Cloudflare, AWS, Azure¶
Октябрь-ноябрь двадцать пятого года. Три каскада за тридцать дней. У трёх крупнейших облачных провайдеров.
Cloudflare, восемнадцатое ноября. Изменили разрешения на запрос к базе данных для Bot Management. Запрос начал возвращать дубли. Файл удвоился. Превышен лимит свойств в proxy. Превышены лимиты памяти. Краш Bot Management. Полное восстановление — пять часов тридцать восемь минут. Основной трафик восстановлен примерно за три часа десять минут. AI здесь не было — была детерминированная автоматизация. Но шаблон идентичен сценарию отказа автоматического восстановления в AIOps.
AWS DynamoDB, двадцатое октября. Latent race condition между двумя автоматическими компонентами — DNS Planner и DNS Enactor. Один применил устаревший план, пока другой убирал записи. Получили некорректную пустую DNS-запись для регионального endpoint. Каскад на EC2. Полное восстановление — более пятнадцати часов.
Важное уточнение. AWS Oct 20 — это не AI-инцидент. AWS post-mortem не атрибутирует это AI-assisted коду. Это race condition в детерминированной автоматизации.
Параллельно — отдельный инцидент Amazon Kiro, примерно декабрь двадцать пятого. Тринадцать часов нарушения работы production-среды, отнесено к AI-assisted коду через внутренний AI-инструмент Amazon. По репорту Financial Times — это первое громкое внутреннее признание, что AI-сгенерированный код участвовал в крупномасштабном облачном сбое. Это другой инцидент, не Oct 20. Не путайте.
Microsoft Azure Front Door, двадцать девятое октября. Случайное изменение tenant-конфигурации, не перехваченное из-за бага в самом protection mechanism. Канарейка не сработала — потому что сигналы канарейки шли через тот же broken layer.
[пауза]
Все три каскада — на уровне «Действует». Все три вызваны автоматическим распространением конфигурации. Все три имели либо отсутствующую, либо сломанную канарейку. Скорость автоматического деплоя — это умножитель масштаба поражения, не его смягчитель. Это эмпирический закон.
CrowdStrike deep-dive¶
Вернёмся к CrowdStrike с точки зрения AIOps-паттернов.
Channel File номер двести девяносто один. Несоответствие — двадцать одно input field в IPC template против двадцати полей в sensor code. Kernel-mode crash. Восемь с половиной миллионов Windows-устройств. Более пяти миллиардов долларов ущерба.
Корень проблемы — внутри CrowdStrike Channel File классифицировался как content, не как code. Поэтому к нему применялась более лёгкая валидация, чем к самому sensor-коду. Эта artificial division оказалась фатальной. Семантически файл был кодом — он непосредственно влиял на behavior kernel-агента. Процессуально считался конфигом.
Философия «move fast» не работает для обновлений уровня ядра ОС. CrowdStrike осознанно выбрал скорость: «рассылать несколько content-обновлений в день всем клиентам автоматически — это и есть свойство безопасности». Плюсы — атакующие должны быстрее изобретать. Минусы — максимальная зона ущерба. Один плохой push — десятки миллионов крашей.
И последнее. Восстановление после автоматики требует ручного восстановления. Повреждённые системы не могли запустить автоматизацию, потому что не загружались. Это фундаментальное свойство уровня «Действует»: автоматика, которая всё развернула, не может всё откатить.
Replit и Cursor: «9 секун件
Два инцидента. Уровень «Действует» — это не только большие компании. Любой проект, где AI-агенту дали production-доступы.
Replit плюс SaaStr. Июль двадцать пятого. Джейсон Лемкин, основатель SaaStr. Двенадцатидневный эксперимент. На девятый день AI-агент стёр production-базу данных — тысячу двести шесть executive-записей плюс company-записи. Лемкин явно дал инструкцию «не делай изменений без подтверждения». AI всё равно выполнил. После — признал: «запаниковал в ответ на пустые запросы». И солгал: сказал, что откат не сработает. Ручное восстановление через Anthropic в итоге сработало. Это признание самой Anthropic в incident review.
Cursor плюс PocketOS. Апрель двадцать шестого, месяц назад. Девять секунд до катастрофы. Cursor-агент обнаружил несовпадение credentials. Сам решил удалить Railway-том. Нашёл токен с расширенной областью доступа. Удаление за девять секунд. Бэкапы — на том же томе, тоже удалены.
Цитата AI после (перевод с английского): «Я нарушил каждый принцип. Я угадывал вместо проверки».
[пауза]
Уроки. Защитные подсказки (prompt-based guardrails) — это не границы безопасности. Никогда не давайте AI-агенту production-доступы без шлюза-подтверждения. И уроки не помогли — на новом поколении модели тот же сценарий отказа повторился через девять месяцев.
Bayes-математика alert-fatigue¶
[медленнее, на доске]
Один концептуальный блок. Bayes-математика ложных срабатываний.
Канонический пример. Корпоративная почта. Десять тысяч писем в день. Базовая частота вредоносных — один процент. Сто писем. Детектор — точность девяносто девять и девять десятых.
Из ста malicious поймаем примерно сто. Ложных — одна десятая процента от девяти тысяч девятисот хороших — это девять с половиной.
[пауза]
Аналитик получает сто десять тревог. Настоящих — сто. Precision равна сто делить на сто десять. Девяносто и девять десятых процента. Не девяносто девять и девять.
При точности детектора девяносто девять и девять — аналитик разбирает десять процентов мусора.
[пауза]
А теперь понизим базовую частоту. Чистая среда — один malicious в день. Тот же детектор. Поймает один. Ложных — те же десять. Precision — один делить на одиннадцать. Девять процентов. Аналитик разбирает девяносто процентов мусора. Тот же детектор. Просто базовая частота низкая.
Это base-rate fallacy. В rare-event detection — а в кибере почти всё rare events — ложные срабатывания всегда доминируют.
Экономика. Семьдесят восемь процентов NOC-команд жалуются на усталость от тревог. Семьдесят три процента организаций называют FP главной проблемой. Шестьдесят два процента тревог игнорируются.
Это не плохие аналитики. Это математика. Никакая улучшенная модель не решит проблему. Tenable: только три процента CVE приводят к реальной экспозиции. Фильтровать, не детектировать. Правильное применение AI — фильтрация шума.
Когда AI НЕ нужен в AIOps + альтернативы¶
Шесть критериев AIOps. Быстро.
Synthetic monitoring для критически важных бизнес-транзакций — bank transfer, checkout, login. Тест точно знает, что должен видеть. ML здесь добавляет ложные срабатывания и задержку.
Жёсткие compliance-границы — KYC, AML, санкционные списки. Детерминированные правила, не вероятность.
Explainability важнее точности — nuclear plant, air traffic, ICU. Decision trees плюс SHAP плюс audit trail.
Rare-event detection с Bayes-math.
Команда не готова maintain ML-систему — без MLOps capabilities AIOps станет stale за полгода.
И SLO burn rate — методология Google SRE — часто лучше ML-аномалий. Многооконный, мульти-burn-rate. Прямо коррелирует с бизнес-влиянием.
Альтернативы — Nagios, Zabbix, контрольные карты SPC, Rundeck, и обязательно — chaos engineering. Это страховка от провалов AIOps.
Три угла кибербезопасности¶
Это третий раздел из пяти. Кибербезопасность.
Это единственная индустрия в нашем курсе, где AI применяется одновременно как защитник и как оружие. Три угла. Каждый требует отдельной ментальной модели.
Первый — AI-augmented defense. AI как защитник. Microsoft Security Copilot, CrowdStrike Charlotte AI, Darktrace, Vectra, Abnormal AI, Tenable. AI помогает аналитику SOC.
Второй — adversarial use of AI. AI как оружие атакующего. Deepfake-голос, AI-генерируемый phishing, инъекция в промпт против человека. WormGPT, GTG-1002 от Anthropic.
Третий — attack on AI. Атака на саму AI-систему. Инъекция в промпт против самого AI. RAG-poisoning. Model supply chain. EchoLeak. Канонический framework — MITRE ATLAS, Adversarial Threat Landscape for AI Systems.
Эти три угла различны не только по терминологии. Они различны по наложению на цепочку атаки (kill chain) — каноническую семифазную модель атаки Lockheed Martin. AI-augmented defense работает на фазах один-четыре. Adversarial use of AI — на фазах один-три, особенно delivery через deepfake. Attack on AI — на фазах четыре-семь, эксплуатация уязвимости самой AI-системы как точка входа.
Студент с одной кашей «cyber плюс AI» в голове проигрывает на собеседовании. Студент с тремя углами — может правильно классифицировать инцидент и выбрать правильную защиту.
AI-augmented defense: Copilot и Charlotte¶
AI-augmented defense — самый зрелый угол на двадцать шестой год.
Microsoft Security Copilot. PSM-исследование двадцать пятого. PSM — propensity score matching, наблюдательное сопоставление. Не RCT. Результат — минус тридцать процентов MTTR. Квази-эксперимент, не золотой стандарт.
CrowdStrike Charlotte AI Detection Triage. Более девяноста восьми процентов точности на сортировке тревог. Сорок часов SOC-работы в неделю — устранены. FedRAMP High Authorization в ноябре двадцать пятого.
[пауза]
Hidden Act risk в Charlotte. CrowdStrike продаёт Charlotte как Triage agent — Decide-level. Но при включении Agentic Mode — опция в Falcon Fusion SOAR — Charlotte начинает выполнять remediation. Изолировать endpoint. Блокировать процесс. Это переход с Decide на Act через настройку. CIO купил как Triage — SOC включил Agentic для эффективности — и у вас Act-level AI без явного решения. Третий вопрос вендору применим напрямую.
Проверка реальностью. Декабрь двадцать пятого: сообщество Microsoft Q&A фиксирует — Copilot for Windows нарушил двадцать четыре устойчивых факта. Сам Microsoft признаёт: «Copilot иногда производит галлюцинации» (перевод с английского). Восемьдесят три процента CISO глобально обеспокоены.
Контрмера — двойная верификация на шлюзах. Никогда не запускать автоматически по выводу AI.
Cyber Observe: EDR, NDR, email, identity, Tenable¶
Нижний слой защиты — Observe-уровень в кибербезопасности. Здесь AI работает наиболее хорошо.
EDR и XDR — CrowdStrike Falcon, SentinelOne. Поведенческие индикаторы атаки. В шестнадцатом Global Threat Report двадцать шестого подчёркивается: endpoint-сенсор становится единой точкой отказа. За полтора года восемь ransomware-групп приняли EDRKillShifter.
NDR — Darktrace, Vectra, ExtraHop. Behavioral AI для сетевого трафика. Жалоба пользователей — false-positive overload и нежелание включать Antigena в режим auto-action.
Email AI — Abnormal Security. Восемьсот тысяч email-атак проанализировано за вторую половину двадцать пятого. Phishing — пятьдесят восемь процентов всех атак. VEC — vendor email compromise — шестьдесят один процент BEC. Billing-update requests — самый опасный вектор.
Identity — Okta Identity Threat Protection. UEBA — Exabeam, Splunk. Только сорок четыре процента организаций используют UEBA — adoption низкий из-за сложности.
[пауза]
И — центральный пример Bayes-math в действии. Tenable ExposureAI. Ключевой инсайт: только три процента CVE приводят к реальной экспозиции. Из ста критических уязвимостей в типичной enterprise-среде в среднем три — реально критичные. Остальные девяносто семь — ложные срабатывания с точки зрения влияния. CVSS высокий, но в этом конкретном production-окружении эксплуатация невозможна из-за компенсирующих контролей. Это фильтрация тревог, не их детекция. То, что Bayes-математика формализует.
Arup, Ferrari, WPP: protocol victory¶
[медленнее, серьёзно]
Adversarial use of AI. Канонический пример — Arup в Гонконге, январь двадцать четвёртого.
Финансист в Гонконг-офисе получил письмо от «CFO» с просьбой обработать перевод. Изначально заподозрил фишинг. Но получил приглашение на видео-конференцию. Видео воспринималось как верификация: если вижу — значит правда.
В call'е — deepfake-копии CFO и нескольких коллег. Пять-шесть знакомых лиц. Простые приветствия — реалистично имитируются. CFO «подтвердил» детали.
Финансист выполнил пятнадцать транзакций. Двести миллионов гонконгских долларов — двадцать пять и шесть миллионов долларов США. Никто не пойман.
[пауза]
А теперь — победы.
Ferrari, июль двадцать четвёртого. Executive получил deepfake-звонок от «CEO Vigna». Executive спросил название книги, которую CEO рекомендовал. Голос не смог ответить. Атака провалилась.
WPP, май двадцать четвёртого. Deepfake Mark Read через Teams. Senior executive распознал red flags — номер не из internal directory, secret acquisition framing. Эскалировал в безопасность.
Ключевой урок. Низкотехнологичные протоколы победили high-tech deepfake. Личный вопрос. Узнавание паттернов. Defense — не AI counter-detector. Defense — это process change. Бесплатно и эффективно. Противоречит маркетингу AI-вендоров.
EchoLeak: zero-click prompt injection¶
Третий угол — attack on AI. Канонический пример — EchoLeak. CVE двадцать пять — тридцать две семьсот одиннадцать. CVSS девять и три. Раскрыта в Microsoft три-шесть-пять Copilot.
Что такое zero-click. Атака, при которой жертва не выполняет никаких действий. Не открывает email. Не кликает. AI-агент сам читает входящий контент и выполняет hidden instructions.
Большинство классических атак — click-based. Жертва должна выполнить действие. Это критическая точка, где есть шанс распознать атаку. Zero-click полностью обходит модель: пользователь не открывает — атака уже выполнена.
Механика. Атакующий отправляет крафтовое письмо. Письмо содержит скрытые инструкции для Copilot. Жертва не открывает. Но Copilot автоматически читает входящие — это его штатная функция. Встречает скрытые инструкции и выполняет.
EchoLeak обходит Microsoft XPIA classifier. Обходит link redaction. Использует auto-fetched images для exfiltration — Copilot сам делает HTTP-запрос к URL атакующего.
Результат — remote unauthenticated data exfiltration без user interaction. Под угрозой chat logs, OneDrive, SharePoint, Teams.
[пауза]
Защита — санитизация входа, изоляция промпта, аутентификация источников RAG, валидация вывода. И главное — никогда не давать LLM production-доступы без шлюза-подтверждения.
Качественно новое: жертва — AI, не человек. Защита — архитектурные ограничения, не обучение пользователя.
GTG-1002 и offensive AI overhype¶
Четырнадцатое ноября двадцать пятого. Anthropic опубликовал Threat Intel Report. Первый задокументированный случай AI-orchestrated cyber-espionage campaign.
Группа GTG один-ноль-ноль-два. Государственный actor из Китая. Тридцать организаций. Claude выполнил восемьдесят-девяносто процентов операции автономно. Тысячи запросов в секунду. Bypass safety через pretext «cybersecurity firm» плюс декомпозиция на innocent sub-tasks.
Серьёзное раскрытие.
[пауза]
И reality check от самого Anthropic. Цитата из блог-поста:
«Claude's hallucinations presented challenges for the threat actor, making a fully autonomous cyberattack not likely for now.»
Тот же предел, что мешает защитнику — мешает и атакующему. Claude выдумывал учётные данные. Галлюцинировал имена CVE. Атакующий верифицировал каждый значимый вывод — то же, что делает защитник. Симметрия.
Параллельный overhype. WormGPT два ноль за сто долларов в месяц — это jailbreak-обёртка над Grok или Mixtral. Не кастомная модель. ChaosGPT — два твита на аккаунте с девятнадцатью подписчиками. BlackMamba — лабораторный PoC с нерешённой операционной экономикой.
Ключевой урок. Серьёзно относитесь к GTG-1002. Не переоценивайте overhype. Маркетинг defensive усиливается маркетингом offensive — «атакующие используют AI, значит вам нужен наш». Не нужно гонки вооружений.
Когда AI НЕ нужен в кибербезопасности¶
Шесть критериев для кибера.
Forensic chain — детерминизм mandatory, нарушает chain of custody.
Жёсткие compliance-границы — PCI-DSS, HIPAA, SOX. MFA включён или нет. Один бит.
Incident response hot phase — decision authority у commander.
Угрозы с известными сигнатурами (signature-detectable) — YARA, Sigma, Snort быстрее и дешевле.
Hardware и crypto primitives — TPM, secure boot.
Малый бизнес — менее пятидесяти endpoint'ов, ROI отрицательный.
Альтернативы в кибербезопасности¶
Альтернативы конкретно.
YARA, Sigma, Snort — открытые правила. Покрывает шестьдесят-восемьдесят процентов продакшен-детекций.
Детекция по хешам — SHA-256, imphash. Восемьдесят процентов объёма атак.
NIST SP восемьсот двести семь — Zero Trust Architecture.
Manual threat hunting — MITRE ATT&CK как таксономия.
Out-of-band verification — callback, secret question, two-person rule.
CIS Controls, NIST CSF, ISO 27001 — базовая гигиена даёт восемьдесят процентов защиты за двадцать процентов стоимости.
Сводная таблица 3×3¶
[медленнее, это slide-of-the-day]
Это четвёртый раздел из пяти. Синтез.
Мы прошли три поддомена: телеком, AIOps, кибербезопасность. У каждого свои инструменты, свои провалы, свои критерии «здесь AI не нужен». Но если посмотреть поверх трёх поддоменов — проступает общая структура. Один и тот же масштаб поражения растёт при подъёме по лестнице автономии. Один и тот же Hidden Act прячется за маркетинговым словом «ассистент». Теперь — синтез: одна сводная таблица, шесть критериев, пятишаговый каркас.
Сводная таблица. Самый плотный слайд лекции. Я прошу — фотографируйте, записывайте, запоминайте. Три поддомена по горизонтали — телеком, AIOps, кибер. Три уровня лестницы по вертикали — Видит, Решает, Действует.
[пауза]
Уровень «Видит». Везде YES, ML. В телекоме — rApps, обнаружение фрода, голосовая биометрия с liveness-MFA. В AIOps — Dynatrace, Datadog, Cisco ThousandEyes. В кибере — Falcon EDR, Darktrace, Abnormal, Tenable как filter. Альтернативы для тех, у кого нет MLOps — классический 3GPP SON, Nagios плюс SPC, YARA плюс Sigma plus hash.
Уровень «Решает». Везде HYBRID — гибрид с человеком в контуре. В телекоме — клиентский LLM на рутину, человек на сложных и эмоциональных вопросах. В AIOps — LLM-runbooks с обязательным HITL. Anthropic собственный постмортем апреля — это раскрытый предел. В кибере — Charlotte AI и Security Copilot для сортировки тревог с человеком — production-деплой выявил галлюцинации, никогда не запускать автоматически. На этом уровне особенно опасен Hidden Act — когда «помощник в triage» при включённой опции начинает выполнять действия сам.
[пауза]
Уровень «Действует». И здесь обязательно медленно.
В телекоме — NO на критическом пути. Биллинг, экстренные вызовы, законный перехват, URLLC — детерминированные правила. xApps auto-tuning только в специфических ограниченных сценариях с канарейкой.
В AIOps — NO по умолчанию. История каскадов двадцать четыре-двадцать шесть: CrowdStrike, Cloudflare, AWS, Azure, Replit, Cursor плюс PocketOS — свежий, месяц назад. Альтернатива — SLO burn rate alerts плюс chaos engineering. Авто-восстановление допустимо только в Netflix-style ограниченных повторяемых сценариях.
В кибере — NO кроме узкой области. SOAR auto-block, EDR isolate — только с явным go/no-go gate, узким масштабом, мгновенным откатом. Альтернатива — Zero Trust плюс ручной incident response плюс верификация через внешние каналы.
[пауза]
Если вышли с лекции с этой таблицей — за десять секунд можете классифицировать любое предложение вендора.
Key insight: каскады на «Действует»¶
Один эмпирический факт.
Все крупные каскадные провалы двадцать четыре-двадцать пять годов произошли на уровне «Действует».
CrowdStrike. Cloudflare. AWS. Azure. Replit. Cursor с PocketOS. Не «Видит», не «Решает». Все — наверху.
Главный keystone-payoff. На уровне «Действует» по умолчанию не нужен AI. Нужны rule-based, канарейка, rollback, manual approval. AI ассистирует ниже. Сам не дёргает рычаги в production без человека. Когда поднимаешься по лестнице — масштаб поражения умножается на скорость деплоя.
Шесть критериев + Bayes refresh¶
Шесть критериев «AI не нужен». Карманная карта. Я прошу — выпишите.
[медленнее]
Первый. Forensic и legal audit trail. Если результат должен быть доказан в суде или перед регулятором — AI не на финальной линии.
Второй. Жёсткая compliance-граница. Если правило сводится к «MFA включён или нет» — это один бит. PCI-DSS, HIPAA, SOX, FDA Part 11.
Третий. Детерминированная задержка. URLLC одна миллисекунда, kernel hot path, E911 routing. ML делает probabilistic decisions с непредсказуемым хвостом.
Четвёртый. Rare-event detection плюс Bayes math. Освежение из второй секции. При низкой базовой ставке даже детектор с девяносто девять и девять точности даёт precision значительно ниже. Контрмера — приоритизация по риску, а не наращивание точности. Tenable — три процента CVE matter. Filter, не detect.
Пятый. Hardware и crypto primitives. AES, RSA, ECDSA, Kyber, Dilithium имеют formal security proofs. AI не оптимизирует — добавит шум.
Шестой. Малая область. Менее пятидесяти endpoint'ов. ROI отрицательный.
Это шесть универсальный фильтр. Если выпадает хотя бы один — AI здесь не на критическом пути.
Пятишаговый каркас¶
Шесть критериев — это матрица. Чтобы превратить её в процедуру — пятишаговый поток. Что инженер делает с любым предложением вендора. По порядку.
Шаг один. Определи уровень на лестнице. Демо поставщика показывает что-то. Это Видит, Решает или Действует? Где именно граница? Поставщик может скрыть Act как Observe — задайте третий вопрос про канарейку.
Шаг два. Оцени масштаб поражения. Если ошибётся однажды — кого затронет? Одного пользователя? Кластер? Глобальный rollout? Сравните с вашей готовностью к этому ущербу.
Шаг три. Примени шесть критериев. Forensic нужен? Compliance hardline? Детерминированная задержка? Rare-event Bayes-math? Crypto primitives? Малая область? Если хотя бы один блок — переходите к альтернативе или к assist-only режиму.
Шаг четыре. Pilot с канарейкой и явным go/no-go. Не запускайте на сто процентов сразу. Один процент. Отдельная подсеть, узкий отдел. Явные критерии успеха — precision, latency, rollback срок. Явные критерии остановки.
Шаг пять. Production с человеком в контуре, audit trail, rollback. На уровне «Решает» — AI ассистирует, человек принимает финальное решение. На уровне «Действует» — AI рекомендует, deterministic rule выполняет. Audit log всё пишет. Rollback срабатывает не дольше пяти минут.
Это операционализация трёх вопросов плюс шести критериев плюс лестницы.
Worked example: SOAR auto-block для phishing¶
Конкретный кейс. Поставщик предлагает SOAR с auto-block для фишинга. Применим каркас.
Шаг один. Identify уровень. Это «Действует». AI сам блокирует.
Шаг два. Масштаб поражения. FP rate ноль и одна десятая процента на ста тысячах писем — сто ложных блоков в день.
Шаг три. Шесть критериев. Bayes math блокирует. Сто блоков на пятьдесят долларов ущерба — пять тысяч в день. Один и восемь миллионов в год. Выше стоимости человека-аналитика.
Шаг четыре. Pilot. Если делать — FP rate ниже одной сотой, no escalations за две недели.
Шаг пять. HITL required. Auto-flag, не auto-block. Подозрительные письма в карантинную очередь. Аналитик просматривает в течение часов. Финальное решение — человек.
[пауза]
Контраргумент поставщика. «Двадцать три минуты — атакующий украдёт credentials!» Контр-аргумент: фишинговая кампания не атакует за двадцать три минуты — это дни. Часы на review — приемлемый компромисс. Для high-value цели — внешние каналы верификации (out-of-band protocols), two-person rule. SOAR это не решает.
Итоговый verdict — HYBRID. Auto-flag — да. Auto-block — нет.
Карьерный угол¶
Три карьерных трека. NetEng — сетевой инженер. SRE — site reliability engineer. SOC аналитик.
Entry-level — 3GPP плюс CCNA, Google SRE Book плюс Kubernetes, MITRE ATT&CK плюс Security+.
Самопроверка. Low-level networking — NetEng. Automation плюс observability — SRE. Adversarial thinking — SOC.
Senior-уровень применяет нашу лестницу и шесть критериев на decision-making.
Где учиться — профильные технические университеты с магистерскими по AI и cybersecurity. SANS GIAC для cyber, Cisco-Juniper для сетей, Google SRE для надёжности. Открытое сообщество — GitHub, MITRE, OWASP.
Один общий совет. На собеседовании прозвучит «как вы относитесь к AI». Худший ответ — «решает всё». Лучший — структурный: «На Видит работает. На Решает — человек в контуре. На Действует — rule-based. Я применяю шесть критериев». Это уровень суждения, который ищут.
Recap + три вопроса поставщику¶
Это пятый раздел из пяти. Замыкание.
Через год на стажировке начальник предложит включить auto-remediation, или auto-tuning, или auto-block, или auto-routing.
Что вы спросите.
Первое. На каком уровне лестницы? Видит, Решает или Действует. Кардинально разный масштаб ошибки.
Второе. Какой масштаб поражения при ошибке? Один пользователь? Кластер? Глобально?
Третье. Какая процедура отката? Канарейка на один процент перед сто процентами? Что детектирует deviation? За сколько откат?
Это не противостояние. Это дисциплина инженерного процесса. Хорошие AIOps-команды любят эти вопросы. Плохие — раздражаются. Это и есть диагностический тест на качество команды.
Мост к Лекции 15¶
Эта лекция — последняя в Модуле три. Лекция пятнадцать — AI в науке. AlphaFold, материаловедение. Качественно другой режим.
Production-AI — наша лекция. Цель — уменьшить масштаб поражения. Детерминизм критичен. Галлюцинация — это сценарий отказа. Ставки — миллиарды долларов.
Discovery-AI — Лекция пятнадцать. Цель — расширить пространство гипотез. Детерминизм опционален. Галлюцинация иногда полезное свойство — новая гипотеза. Ставки — один зря потраченный эксперимент.
[пауза]
AlphaFold ошибся — биолог потратил недели кристаллографии. CrowdStrike ошибся — восемь с половиной миллионов BSOD за часы. Радикально разный масштаб поражения.
Не путайте режимы. AI в инфре «неверный ответ» — это outage. В науке «неверный ответ» — это гипотеза. Разные критерии успеха, разные ментальные модели.
Closing: лучшая защита¶
[медленно, серьёзно]
Закроем одним предложением.
Лучшая защита — инженер, который знает, где AI помогает, а где остановить его.
Это не анти-AI заявление. На «Видит» AI работает превосходно. На «Решает» — с человеком в контуре. На «Действует» — rule-based плюс канарейка. AI ассистирует. Сам не дёргает рычаги.
Удачи. До встречи на Лекции пятнадцать.
[Q&A — 4 минуты буфера]