Расшифровка подкаста | Кибербезопасность в энергетике: реальные угрозы, уязвимости и влияние искусственного интеллекта

Эксперт Елена Пронина и доктор технических наук, этичный хакер Алексей Марков о защите критической инфраструктуры, рисках цифровизации, атаках через цепочки поставок и о том, как машинное обучение меняет правила игры

В новом выпуске эксклюзивного интервью эксперты детально разобрали, грозят ли энергетике блэкауты от хакеров-одиночек, в чем заключается специфика защиты промышленных сегментов по сравнению с корпоративными IT-сетями, какие неочевидные риски несет повсеместная цифровизация отрасли и переход на смарт-контракты, а также обсудили влияние нейросетей на безопасность - от генерации дипфейков в социальной инженерии до неизбежности технологической сингулярности в глобальной конкуренции государств.

Ознакомьтесь с материалом в удобном для вас формате! Полная видеоверсия дискуссии доступна на наших платформах:

Для профессионального сообщества мы подготовили подробную текстовую адаптацию беседы.

---

Елена Васильевна (ЕВ): Добрый день, уважаемые подписчики и гости нашего канала! На нашем канале мы обсуждаем вопросы энергетики, права и не только. И сегодня у меня в гостях сертифицированный хакер, эксперт в области кибербезопасности, доктор технических наук Алексей Марков.

Алексей Сергеевич (АС): Добрый день!

ЕВ: Алексей, добрый день! Огромное вам спасибо, что нашли время в своем плотном графике и приехали в нашу студию. Сегодня я задам вам несколько вопросов, и мы очень надеемся, что вы, как сертифицированный, этичный хакер расскажете нам мифы или легенды в этой области.

Вообще сейчас, в эпоху цифровизации, все говорят только о кибербезопасности. Это обсуждают на уровне населения, банковской сферы, медицины, защиты персональных данных. Везде, повторюсь, с приходом цифровизации мы пытаемся как-то себя обезопасить и защитить. Но наш канал занимается энергетикой, поэтому скажите, пожалуйста: можете ли вы вспомнить или рассказать, какие киберинциденты происходили в энергетической сфере за последнее время?

АС: В энергетической отрасли инциденты происходят постоянно - это наша реальность. Если посмотреть на критическую инфраструктуру в целом, то количество инцидентов в энергетике даже превышает среднестатистическое. Можно привести достаточно много примеров. Сама идея кибербезопасности в популярной среде, по сути, появилась именно из области энергетики.

ЕВ: Да вы что!

АС: Да. Дело в том, что еще в 2010 году была известная кибероперация «Олимпийские игры», которую, по сегодняшним доказанным данным, проводили кибергруппы США и Израиля против Ирана. Там было применено настоящее кибероружие - сложное программное средство под названием Stuxnet (Стукснет). Его использование нанесло серьезный урон государственной программе Ирана по ядерной энергетике, и она была отложена минимум на год. То есть атакующие воздействовали на центрифуги, на интерфейсы, на различное оборудование, и им удалось уничтожить 80% центрифуг.

ЕВ: А вы знаете, я совершенно недавно посмотрела фильм... Не буду пересказывать весь сюжет, но там была такая линия: один хакер заявлял, что буквально через пять минут может обесточить целый регион страны. Скажите, пожалуйста, как специалист в этой области: это правда, или просто кинематографический вымысел?

АС: Мы знаем примеры воздействия на энергетику: есть кибератаки, или, я бы сказал, кибероперации, которые действительно отключали определенные регионы в мире.

ЕВ: То есть это возможно?

АС: Не совсем так. Повторюсь, подобные атаки были, но они затрагивали, насколько я смотрел, до полумиллиона человек. Где-то от 250 до 500 тысяч населения.

ЕВ: То есть это какие-то маленькие села?

АС: Скорее, регионы. Но за этим всегда стояли спланированные кибероперации и целые кибергруппы, чьи действия были очень серьезно проработаны. Как правило, это абсолютно прогосударственные структуры. Я сомневаюсь, что какой-то хакер-одиночка сам по себе способен нанести такой крупный урон. Тем более в нашей стране. Могу объяснить почему: у нас достаточно высокий уровень кибербезопасности.

ЕВ: В целом?

АС: В целом, да. Это реально так, а по некоторым направлениям мы даже лидеры. Я бы выделил методическую и математическую области, а также человеческий фактор: мы побеждаем на многих олимпиадах, у нас много чемпионов соревнований CTF (Capture the Flag), проводится множество различных учений. Исторически сложилось так, что СССР и Россия в этой сфере всегда были в лидерах.

Поэтому я очень сомневаюсь, что отдельный хакер сможет нанести подобный урон, это какой-то исключительно редкий случай. Думаю, даже если он попытается где-то воздействовать на систему, скорее всего, на одном из этапов его атака просто не пройдет. У нас задействовано много структур, системы очень распределенные и проработанные, плюс действует сильная нормативная база. Однако, если взять какие-нибудь страны, менее развитые в области информатизации, не исключено, что там в небольших регионах хакер-одиночка действительно может нанести урон.

ЕВ: То есть в нашей стране мы в целом от каких-то хакеров-одиночек защищены?

АС: Знаете, никогда не говори «никогда»… Может быть, но, я думаю, это очень сложно.

ЕВ: Ну, то есть это, вероятно, существует только в теории, а не в реальности?

АС: Я думаю, даже в теории это очень тяжело. Теоретически это могут быть кибергруппы, которые длительно работают и целенаправленно прорабатывают этот вопрос, но тут должен совпасть целый ряд условий.

Мы знаем примеры. Вы задали первый вопрос про различные кибератаки - их на самом деле достаточно много. Вот, например, Европейское сообщество в 2025 году рассмотрело 3000 инцидентов, и это в основном Европа. Есть различные отчеты, где рассматриваются инциденты, и там их количество варьируется от 3000 до 5000. То есть это серьезные, проработанные атаки. Их достаточно много, и многие из них на слуху.

ЕВ: А в нашей стране они всё-таки были?

АС: Ну, мы же не исключение от всего остального мира, давайте смотреть правде в глаза. У нас тоже происходят какие-то инциденты. Но мы видим: если что-то и происходит, это не приобретает таких масштабов, чтобы все об этом заговорили.

Я вот не помню таких крупных инцидентов в России, о которых везде писали бы в печати. Возможно, они и были, ведь это объективный процесс. Всё равно где-то что-то остается уязвимым. Подобные случаи были, но, если посмотреть новостную ленту, они происходили вне сферы энергетики.

А вот если посмотреть за рубеж, то там достаточно много различных атак. Если взять деятельность кибергрупп, то мы это наглядно видим. Наиболее известное явление последних лет пяти - это атаки на логические контроллеры в США со стороны проиранских хакеров. Там приводятся примеры (и это только официальные данные, ведь далеко не всё известно широкой публике) о поражении порядка 75 центральных устройств СУТП (систем управления технологическими процессами).

Кроме того, службы США описывают очень много различных инцидентов. Например, про китайских хакеров: недавно писали, что они больше года присутствовали в сетях одной энергетической компании. Несколько инцидентов проходило в Европе - это атаки на ветряные мельницы, солнечные электростанции и так далее. В Германии до 2000 устройств оказывались вне мониторинга. Совсем недавно в Польше около 30 средств также остались без мониторинга, более того, согласно публикациям в прессе, там была остановлена даже турбина паровой станции.

В информационном поле очень много подобных разборов, так что это не новость. Многие из этих инцидентов приводят к реальному ущербу: это ситуации с DoS-атаками, с различными вайперами (программами-уничтожителями данных). То есть это, я бы сказал, объективная реальность.

ЕВ: Это уже такие полноценные кибератаки?

АС: Да. Понимаете, в чем смысл? У хакера, если мы говорим об одиночке, должен быть мотив. Мотивов, как правило, два.

Первый - прогосударственный, геополитический. В первую очередь это проведение разведки, во вторую — нанесение какого-то ущерба.

Второй мотив - это деньги. Деньги - это, как правило, уровень криминала или тех прогосударственных хакеров, у которых стоит задача от государства по сбору средств. Они используют различные программы-вымогатели, шифровальщики. Это тоже очень распространенная угроза, в том числе и в энергетике.

Хочу сказать, что хакер-одиночка понимает: ответственность очень велика. Во всех странах мира это уголовно наказуемо, причем очень серьезно. И чтобы просто отключить свет, ему нужен какой-то очень веский реальный мотив, ведь за это можно потом всю жизнь просидеть в местах не столь отдаленных.

ЕВ: Ну, это смотря какая страна, опять же. Да, может и не просидеть, а уже где-то пролежать, условно говоря.

АС: Ну да, есть страны, которые декларируют, что они на кибератаку могут ответить.

ЕВ: Ну, в некоторых странах за такой экстремизм бывает смертная казнь. Наверное, в каких-то арабских странах.

А как специалист в этой области, скажите, пожалуйста: какова, на ваш взгляд, самая главная уязвимость энергетической отрасли с точки зрения кибербезопасности? В чем вы видите эту главную уязвимость?

АС: Если взять конкретно энергетику, то это критическая инфраструктура, это СУТП (системы управления технологическими процессами). В их основе лежат сами технологические процессы. Здесь есть два аспекта.

С одной стороны - это спецоборудование, то есть технологические процессы. И второй момент - это связанный с ними ущерб. Если мы берем классические корпоративные сети, то информационная безопасность - это социальная защищенность от угроз: конфиденциальность, целостность, доступность. А в энергетической области у нас сюда добавляется сохранность людей, сохранность оборудования, восстановление оборудования.

Далее - особенности технологического оборудования с точки зрения информационной безопасности. Оно специфическое и не меняется долгое время. Его нельзя быстро обновить, нельзя просто остановить технологический процесс. Фактически любая область критической инфраструктуры, в данном случае энергетика, разделена на IT-сегмент и сегмент операционный. Это раз.

Второй момент - специфика самого ущерба. Это может быть каскадное отключение. То есть это способно на какое-то время нанести урон людям. В холодное время, например, люди могут просто погибнуть без электричества или, скажем, без теплоэнергетики. То есть здесь совершенно другие аспекты.

Получается, что безопасность здесь не только информационная - она интегрирована в функциональную безопасность, в промышленную безопасность. И здесь возникают особые угрозы. Первая угроза связана с тем, что в этой сфере нельзя напрямую применить стандартные подходы информационной безопасности. И второе - совершенно другой масштаб ущерба. И этот ущерб должен оцениваться, в первую очередь, с точки зрения человека.

ЕВ: Вот сейчас у нас, в том числе и в энергетике, согласно стратегии до 2050 года, идет цифровизация вообще всего энергетического спектра, назовем это так. Это касается и электроэнергетики, и теплоснабжения, и атомной энергетики - вообще всей энергетики в нашей стране. У нас задан такой вектор на цифровизацию.

В связи с этим, если мы возьмем электроэнергетику, появляются так называемые цифровые подстанции, цифровые двойники электросетевого хозяйства, цифровые двойники оборудования. Появляются цифровые, как я уже сказала, подстанции, трансформаторы и так далее и тому подобное. И вот в связи с тем, что энергетика - это и так критическая инфраструктура, а мы еще и практически полностью уходим в «цифру»... Скажу вам так: у нас даже договоры энергоснабжения с 2027 года будут заключаться только в цифровой среде, только онлайн. А договоры технологического присоединения уже сейчас заключаются исключительно посредством личного кабинета на сайте сетевой компании. То есть, по сути, сейчас всё завязано на компьютерах.

В связи с этим: какая главная киберугроза может возникнуть для потребителя - для обычного человека или для компании, взаимодействующих с энергетическими предприятиями? Как вы считаете? И вообще, есть ли она, или, может быть, этого нет?

АС: Ну, в данном случае, если мы касаемся простого потребителя в бытовом плане, то и все угрозы здесь бытовые. То есть те, которые связаны с использованием компьютера.

ЕВ: То есть может быть, например, только какая-то утечка персональных данных?

АС: Я объясню ситуацию. Да, на каком-то уровне может произойти утечка персональных данных, но это свойственно любой информационной системе. У этого могут быть самые разные причины. И если мы говорим про бытовой уровень, то здесь очень важна личная дисциплина или, как говорят, кибергигиена самого человека.

Конечно, возможны угрозы, связанные не с конкретным пользователем, а с теми, с кем он взаимодействует. Атаки могут происходить на любом этапе и могут быть с ним вообще не связаны. Таких утечек существует достаточно много. Но мир не стоит на месте: если появляется угроза, то против нее предполагается использование соответствующих мер защиты.

В нашей стране вопрос утечки персональных данных проработан очень хорошо. У нас давно существуют законы, эту область курируют различные регуляторы, и законы эти достаточно жесткие. Утечки, конечно, будут всегда, но благодаря риск-ориентированному подходу сами риски минимизированы. Поэтому сейчас даже трудно сказать, где больше угроз для человека: когда он работает с электронным оборудованием или когда имеет дело с обычными бумажными документами.

ЕВ: А если мы берем какие-то промышленные объекты, огромные заводы - здесь на этапе взаимодействия в цифровой среде тоже могут быть какие-то киберугрозы?

АС: Смотрите, что такое цифровизация? Это прогресс, который дает нам новые возможности. Любая новая технология, естественно, создает и определенные опасности. Они объективно существуют. Чтобы с ними бороться, применяется риск-ориентированный подход - так происходит в любой отрасли. Прогресс не остановить, поэтому к любой технологии просто нужно относиться соответственно.

ЕВ: Соответственно - это как? С доверием или с недоверием? Потому что я в последнее время, наоборот, слышу о неком недоверии ко всему этому. Стоит ли этого опасаться?

АС: Ну какие угрозы мы перед собой видим? Если вы выступаете как частное лицо, у вас есть персональные данные. Есть данные, которые вы готовы передать, а есть те, которые не хотите. Это же вопрос вашего согласия, верно? Приватные данные совершенно не обязательно куда-то передавать. Идентификационные данные вы передаете, но делаете это не просто так, а с соблюдением определенных требований.

ЕВ: Хорошо. А заводы?

АС: У заводов свои требования. Это критическая...

ЕВ: ...там ведь и коммерческая тайна может быть.

АС: Там может быть всё что угодно. У нас законодательство строго регулирует различные информационные системы: государственные информационные системы, АСУТП, критическую информационную инфраструктуру. Существуют определенные меры безопасности, и в нашей стране они должны неукоснительно соблюдаться. То есть, если возникают какие-то инциденты, государство должно быть оповещено незамедлительно.

В гражданской сфере у нас существует два базовых регулятора. Первый - это ФСБ, отвечающая за криптографические методы защиты и контроль критической инфраструктуры в рамках системы обнаружения, предупреждения и ликвидации компьютерных атак. Второе направление - некриптографические методы защиты, за которые отвечает ФСТЭК (Федеральная служба по техническому и экспортному контролю).

Есть еще и отраслевые регуляторы. Энергетическая отрасль также регулирует эти вопросы самостоятельно: у них есть внутренние приказы, дополнительно регламентирующие сферу информационной безопасности.

Поэтому сказать, что угроз не существует, нельзя. Но и утверждать, что всё это абсолютно открыто и уязвимо, тоже в корне неверно. Почему? Потому что работают меры защиты и предусмотрено наказание за нарушения - как для самих предприятий, так и для пользователей, которые тоже обязаны соблюдать определенные правила. То есть это нормальный объективный процесс.

ЕВ: Хорошо, давайте посмотрим на это немного в другой плоскости и вернемся к цифровизации, цифровым подстанциям, цифровым двойникам и так далее. Энергетические компании часто прибегают к услугам программистов, сторонних разработчиков и IT-специалистов для цифровизации своей инфраструктуры. Возникают ли у них специфические риски при таком взаимодействии с подрядчиками? Понятно, что они есть, но в чем именно они заключаются?

АС: Дело в том, что проблема безопасности цепочек поставок, то есть рисков, исходящих от сторонних поставщиков и подрядчиков, сейчас крайне актуальна. Она касается буквально всех сфер.

Зародилась эта проблема, знаете, где? Изначально - в среде открытого программного обеспечения, когда софт стал создаваться не внутри одной конкретной организации, а распределенными сообществами, различными комьюнити. А эти комьюнити обладают очень разными правилами, культурой разработки и уровнем знаний. Это во-первых.

Во-вторых, когда идет разработка проекта, к ней подключаются разнообразные соисполнители - со своими лицензиями, своей культурой программирования, стилями написания кода, языками и экосистемами. Из-за этого и возникает комплексная проблема доверия к поставщикам и сторонним компонентам. Но точно так же, как эта проблема возникла, с ней научились и бороться: разработаны стандарты, правила, комплексные меры защиты, хотя они и достаточно сложны. Энергетические компании обязаны уделять этому самое пристальное, реальное внимание, потому что атак через цепочки поставок сейчас фиксируется очень много.

ЕВ: То есть разрабатывать четкие алгоритмы защиты еще на этапе заключения договоров с подрядчиками?

АС: Да. Первое - это организационные и договорные меры. Заказчики должны тщательно проверять подрядчика, используемые им библиотеки и комьюнити, проверять культуру этой разработки, наличие необходимых лицензий. Подрядчики должны быть полностью прозрачны.

Вопрос ведь не только в том, что в коде может обнаружиться уязвимость. Допустим, возникла ошибка - что с ней делать? Подрядчик обязан оперативно ответить и устранить ее. А если компания к этому моменту уже обанкротилась, кто будет отвечать? А если разработчики просто ушли с рынка? Поэтому высокая договорная культура и аудит контрагентов здесь строго обязательны.

Второй момент - это технический контроль. Необходимо детально анализировать список всех используемых компонентов (сторонних библиотек и модулей). Должна проводиться их полная инвентаризация, а все компоненты обязаны проверяться на известные уязвимости.

Сейчас в этой области ведется огромная работа как за рубежом, так и у нас в стране. В России спискам заимствованных компонентов сегодня уделяется самое пристальное внимание. Особенно остро этот вопрос встал в период проявления агрессии со стороны некоторых зарубежных комьюнити открытого программного обеспечения, когда появилось так называемое «протестное ПО», куда намеренно внедрялся деструктивный или вредоносный код. Сегодня регуляторы, профильные структуры и сами компании обращают на это колоссальное внимание. Это серьезная угроза, с которой сейчас системно борются.

ЕВ: А в связи с активным внедрением искусственного интеллекта ощутим ли рост киберугроз и сопутствующих рисков?

АС: Ну конечно, ощутим. Мы в начале сказали, что кибербезопасность - топовая тема. Так вот, главных тем сейчас две: кибербезопасность и искусственный интеллект. И на их стыке сейчас настоящий бум.

Но что такое искусственный интеллект? По сути, мы говорим о машинном обучении. Многие ученые вообще скептически или отрицательно относятся к самому термину «искусственный интеллект».

ЕВ: К термину «искусственный интеллект»? А как правильно называть? AI или как?

АС: Нет, просто многие специалисты считают, что это всего лишь аппроксимирующие модели.

ЕВ: А, математические модели…

АС: Да, именно так говорят математики. А в нормативно-технической среде об искусственном интеллекте принято говорить как о машинном обучении. Да, это приближенные модели, но они дают быстрый и ощутимый практический эффект. Особенно ярко мы почувствовали этот эффект с появлением больших языковых (лингвистических) моделей.

В нашем случае правильнее использовать термин «машинное обучение», потому что при фразе «искусственный интеллект» у людей часто возникают футуристические ассоциации: восстание роботов и всё в таком духе.

ЕВ: Ну, сейчас об этом действительно говорят буквально везде. И эти технологии ведь на самом деле внедрились во все отрасли.

АС: Внедрились, да. Но в каком виде? В основном за счет лингвистических моделей, хотя и не только. Многие аппроксимирующие модели действительно дают быстрый прикладной эффект.

Если мы берем сферу кибербезопасности, то здесь стоит выделить три ключевых момента:

• С помощью методов ИИ снизились требования к квалификации тех же нарушителей. Они могут оперативно использовать средства автоматизации - генеративные и языковые модели, чтобы быстро написать, например, какой-нибудь вредоносный код или вирус.
• Искусственный интеллект, как мощный инструмент автоматизации, позволяет масштабировать любые процессы: создавать вспомогательные инструменты и контролировать несоизмеримо большие объемы данных, чем под силу человеку.
• Все операции выполняются в разы быстрее. Если человеку на анализ информации или ручную проверку требуется много времени, то искусственный интеллект способен сделать это практически мгновенно.

И всё это, по правде говоря, лишь верхушка айсберга. За технологией стоят колоссальные разработки моделей, огромные вычислительные мощности, суперкомпьютеры и государственные программы. Внешне, с прикладной точки зрения, и для злоумышленника, и для специалиста по защите ИИ дает ощутимый выигрыш: время, масштаб и компенсацию недостатка квалификации.

Однако на сегодняшнем этапе развития машинного обучения мы не получаем чего-то принципиально нового из ниоткуда. Модель индексирует и систематизирует уже известные подходы, позволяя эффективно их применять.

В науке есть термин «аугментация» - расширение, усиление возможностей человека. Условно говоря: обычный человек невооруженным глазом видит на 150 метров, в бинокль - уже на 5 километров, а в телескоп может рассмотреть Луну. Точно так же искусственный интеллект дает специалисту колоссальные возможности для решения задач.

Но это палка о двух концах. Всё зависит от того, кто быстрее эти возможности реализует. С одной стороны, злоумышленники генерируют вредоносное ПО и автоматизированно ищут уязвимости. С другой стороны — защитники точно так же могут с помощью ИИ гораздо быстрее выявлять бреши в системах и закрывать их.

ЕВ: То есть с помощью AI-агентов?

АС: Ну, агенты - это искусственный интеллект, который сам принимает решения. Здесь могут быть различные средства. Агенты - это сейчас модно: мы запустили агента, поставили ему задачу, и он сам ее выполняет. Как правило, эти задачи детерминированные.

Приведу пример. Мы на фирме создавали документацию на средства защиты, и когда попытались сделать это с помощью искусственного интеллекта, практически всё оказалось некачественным. Есть такая шутка, что машинное обучение - это ошибки первого рода, ошибки второго рода и абсолютная уверенность в том, что результат правильный.

То есть он сам что-то придумывает. Это кроется в особенностях современных методов машинного обучения. Отсюда и берутся галлюцинации: если глубоко копать в математике, нейросеть довольно плохо работает с пропусками, поэтому начинает галлюцинировать.

А вот когда нужно помочь человеку - другой пример. Человек сделал качественную документацию, он всё продумал, он специалист, он работает и чувствует материал. И вот мы решаем проверить текст с помощью искусственного интеллекта. Здесь ИИ оказывает колоссальную помощь: он найдет ошибки, что-то подскажет, но итоговое решение всё равно принимает человек.

ИИ можно делегировать простейшие функции. Например, мы пишем скрипты для совершенно разных операционных систем: различных дистрибутивов Linux, Windows, macOS, Android, iOS и так далее. Человек может просто сформулировать логику скрипта, а искусственный интеллект переведет её в нужный синтаксис. Опять же, человек выступает в роли контролера и принимает окончательное решение, но сама работа выполняется колоссально быстро. Таких примеров много: чтобы сделать стандартный сайт или базу данных, группе программистов потребовались бы месяцы, а с ИИ это можно сделать за час. Но, повторюсь, специалист обязательно должен всё это проверить. Это работает именно как дополнительные возможности.

В этом плане искусственный интеллект дает эффект и нападающим, и защищающимся. Если послушать квалифицированных специалистов, то защищающейся стороне он дает даже больше. Но есть своя особенность, когда мы касаемся энергетики.

ЕВ: Так…

АС: В чем особенность энергетики? В том, что у нас разделено два сегмента: IT-сегмент и операционный сегмент. Операционный сегмент - это специализированные средства и специализированные прото protocols. Их нельзя в реальном времени остановить, заменить или обновить. Любое обновление несет здесь намного больше рисков, чем в обычной корпоративной сети.

В корпоративной системе, если что-то вышло из строя, мы это восстановили из горячего, теплого или холодного резерва. А здесь так не получится. Здесь оборудование может реально остановиться. Обязательно должен быть некий макет, на котором будут предварительно проверены все возможные состояния. Это архисложная работа для специалистов.

И вот с этой стороны искусственный интеллект представляет опасность для энергетики. Он позволяет злоумышленникам очень быстро находить и прорабатывать любые уязвимости, а обновить системы защиты, как я уже сказал, сложно. Поэтому здесь мы задействуем уже другие возможности искусственного интеллекта, которые могут смоделировать процессы, подсказать, какие состояния и каскадные изменения могут возникнуть. Считаю, что здесь, как и в любой технологии, есть и плюсы, и минусы.

По правде говоря, есть еще и третья сторона - это атаки, направленные на сам искусственный интеллект. То есть изменение массивов данных, намеренно неправильное обучение, воздействие на модели и так далее. Когда идет атака непосредственно на ИИ. Но на сегодняшний момент они, как правило, не являются для нас такими…

ЕВ: ...критическими?

АС: Скажем так, они больше носят академический характер. Если посмотреть на статистику, они еще не вышли на массовый уровень, но профессиональное сообщество об этом уже серьезно думает. Появляются нормативные документы, уже предпринимаются попытки проводить сертификацию ИИ. Во ФСТЭК уже много лет существует база данных угроз, связанных с искусственным интеллектом, то есть этот вопрос прорабатывается.

Другое дело, что эти угрозы пока не вышли на первый план. На первом уровне по-прежнему остаются старые, классические угрозы - те же программы-шифровальщики. Как они были на первом месте, так и остались, наряду с глобальными кибероперациями. Так что искусственный интеллект - это новая технология, к которой мы должны относиться предельно внимательно, но при этом максимально использовать её возможности в своих интересах.

ЕВ: Но это всё-таки возможности? Вы считаете, что искусственный интеллект - это расширение возможностей человека?

АС: Колоссальное расширение возможностей человека на сегодняшний момент. Но пока - не более того.

ЕВ: А мы говорим про генеративный AI?

АС: Мы говорим вообще про машинное обучение, и не только про классические нейронные сети. Наиболее мощный прогресс сейчас наблюдается в лингвистических моделях, которые позволяют нам быстро…

ЕВ: ...обрабатывать тексты?

АС: Речь, текст, звук. И вот здесь вы прямо подвели к теме фейков. Как раз хотел затронуть этот социальный вопрос. Если взять кибербезопасность - всю эту область в целом, то основная мера защиты кроется в людях. И самая универсальная мера защиты здесь - это тренинги.

ЕВ: В каком плане тренинги?

АС: Во всех. Понимаете, кибербезопасность - это очень динамичная область. В отличие от многих других, классических сфер, где можно выучить какие-то основы, и они будут действовать всю жизнь, здесь ситуация иная. То же самое, кстати, касается и искусственного интеллекта. Буквально каждый день появляются новые угрозы, новые векторы и виды атак. Поэтому люди в этой области должны постоянно учиться и тренироваться. Они должны быть готовы, должны внимательно ко всему относиться и регулярно отрабатывать различные ситуации.

ЕВ: Под людьми вы имеете в виду сотрудников компаний?

АС: Сотрудников компаний, да и вообще всех. То есть, понимаете...

ЕВ: То есть даже нас, простых граждан?

АС: Конечно, мы тоже должны всё это понимать. Возьмем пример с мошенниками. Вы или ваши знакомые наверняка с ними сталкивались. Допустим, вы получаете какую-то информацию в любом канале, в мессенджере или в Telegram, например, предложение вступить в какую-то группу. Вы уже знаете, что за этим может стоять мошенник. А если бы вы этого не знали, вы могли бы вступить в эту группу, и дальше последовала бы попытка кражи вашей учетной записи. Ну и так далее.

ЕВ: Да, сейчас много таких случаев с «Госуслугами», когда звонят людям и говорят: «Мы вас записали к врачу, сейчас придет СМС». Приходит СМС с кодом для «Госуслуг», а на самом деле злоумышленники потом просто меняют пароли…

АС: Таких схем очень много. Об этом вроде бы уже везде говорят, но я хочу сказать вот о чем. Одно дело, когда вы сами немного потренировались и стали бдительнее, а в корпорациях такое обучение вообще обязательно. К чему я заговорил о тренингах? Дело в том, что в кибербезопасности существуют атаки, против которых нет абсолютной защиты. Это атаки методами социальной инженерии, которые сейчас доведены до высшего мастерства. Я лично знаю очень опытных специалистов, но даже они всё равно остаются людьми.

Почему социальная инженерия работает? Потому что она основана на доверии. Если никому не доверять, жить будет как-то скучно, верно? Всегда есть моменты, связанные с особенностями человеческой психики, с ограниченностью восприятия и так далее. Если за человеком долго наблюдать и отслеживать его действия, его всегда можно обмануть. На этом и основана социальная инженерия - на манипуляции доверием. И сейчас искусственный интеллект произвел эффект разорвавшейся бомбы в социальной инженерии. Например, теперь можно легко подделать голос.

ЕВ: Дипфейки?

АС: Да, дипфейки: подделка голоса, видео, фишинговые письма. Искусственный интеллект позволяет генерировать огромное количество писем точечно - под вашу специальность, лично под вас, под ваш психологический портрет, предварительно собрав всю необходимую информацию. И здесь уже без регулярных тренингов никуда не деться. Именно в плане социальной инженерии мы видим, наверное, самый высокий эффект применения искусственного интеллекта при нападении.

Но есть и обратная сторона. Все эти накопленные атаки изучаются, на их базе создаются обучающие наборы данных, всё это индексируется. Так что защищающаяся сторона точно так же может использовать искусственный интеллект для успешной борьбы с теми же дипфейками и фишингом.

ЕВ: То есть это своего рода разведка и контрразведка, да?

АС: Да. Можно сказать, пуля и броня.

ЕВ: В целом так. Правильно ли я услышала, что вы всё-таки выступаете за искусственный интеллект?

АС: Я объясню ситуацию. Прогресс не остановить. Пытаться это сделать - абсолютная иллюзия и, я не знаю, какая-то «деревянность».

ЕВ: Вы знаете, в последнее время происходят показательные случаи в сфере кибербезопасности. Слышала историю: в одной компании сотрудница готовила отчет о проделанной работе и загрузила его, видимо, в DeepSeek. Не знаю, с какой точно целью - скорее всего, чтобы нейросеть всё «причесала» и красиво изложила для руководства. Эту сотрудницу уволили, потому что в отчетах содержалась коммерческая тайна, конфиденциальная информация и так далее. То есть процесс кибербезопасности - это еще и внутреннее взаимодействие в самой компании, между сотрудниками.

АС: Да. Когда я говорю, что прогресс не остановить, я же не имею в виду вседозволенность. Любая технология должна быть контролируемой. Так было испокон веков: и когда создавали атомное оружие, и при разработке любых других технологий.

ЕВ: И когда интернет появился.

АС: Любые технологии: самолеты, машины. Для всех них существуют свои правила, потому что они создают определенные опасности. В области информационной безопасности опасность - это угроза, это слова-синонимы. Естественно, прогресс не остановить, но им надо управлять. Управлять в интересах государства и его людей.

Поэтому сейчас у человечества наблюдается определенный бум, связанный с этими технологиями, и не только с ними. Это передовые современные инструменты, и их надо максимально использовать. Это понимают все.

ЕВ: Не все. Знаете, многие люди очень негативно относятся к новым технологиям. Но так было испокон веков, и, как вы и говорите, мы не можем отрицать прогресс.

Однако, если мы говорим про машинное обучение, что происходит сейчас на самом деле? Возьмем, например, образовательную сферу: сейчас все рефераты, доклады и даже дипломы пишутся, можно сказать, за несколько часов благодаря различным инструментам машинного обучения. В связи с чем возникает вопрос: все ли преподаватели понимают, что прогресс не остановить? Как вообще запретить использовать эти возможности - совершенно непонятно. Поэтому с этой точки зрения вопрос о том, благо ли это или всё-таки нечто опасное, наверное, навсегда останется риторическим.

АС: Ну, я согласен, вопрос риторический, но не совсем. Понимаете, в чем момент: я скажу как технарь, а не как гуманитарий - во всякой области есть свои цели и задачи. Чего мы должны достичь в нашей стране? Мы должны, например, поставить цель быть первыми в мире…

ЕВ: В какой области?

АС: Во всех областях! В долгожительстве, в автоматизации, в науке, образовании, медицине, энергетике, в спорте и так далее. Есть определенные технические показатели, и сейчас мир стал другим. Те люди, которые хотят закрыться от новых явлений - выбирают самый неправильный подход. Появилась какая-то проблема - давайте ее не замечать, спрячем голову в песок. Если переложить это на менеджмент, то просто промолчать - это худшая стратегия. Лучше уж какая-то отрицательная реакция, чем игнорирование реальности.

Чего мы хотим? Мы хотим повысить производительность труда - значит, мы должны использовать искусственный интеллект. Мы хотим повысить способность человека думать. Я объясню ситуацию: например, в Китае сейчас отменили классические бумажные диссертации. Почему? Потому что эти диссертации сейчас действительно генерируются искусственным интеллектом. Но когда они генерируются, их же всё равно надо править! Я повторюсь, что на сегодняшний момент…

ЕВ: ...писать правильные промпты?

АС: Да, и не только. Я объясню на нашем примере: мы не смогли с нуля создать идеальную документацию по средствам защиты. Всё-таки за компьютером сначала сидел человек, который использовал искусственный интеллект для корректировки, форматирования, выявления противоречий и синтаксических ошибок. И то нейросеть выявляет далеко не всё! У меня есть личный опыт редакторской деятельности - да, ИИ мне колоссально помогает, но текст всё равно нужно вычитывать самому, оценивать его с человеческой точки зрения. Искусственный интеллект — это ведь общая, среднестатистическая информация. Я даже могу привести примеры, как можно натренировать искусственный интеллект и довести его до абсолютного абсурда. Сейчас расскажу.

Смотрите, вот дети стали списывать с помощью нейросетей - ну, значит, им надо ставить другие задачи. Я вот про Китай хотел договорить: не утверждаю, лучше это или хуже, просто привожу в пример их путь. Они ушли от бумажной работы к практической. То есть человек на защите показывает, например, спроектированный им мост. И неважно, каким именно инструментом он это сделал! Если он с помощью искусственного интеллекта сделал этот мост за ночь - вот что важно. Он сделал мост, он принес реальную пользу. Или построил космический корабль. Или вот недавно школьница написала собственный браузер. Родители ей запрещали сидеть в компьютере, а она взяла и сделала его с помощью искусственного интеллекта.

Человек может всё это написать и сам, вручную, но будет ли результат лучше? Можно копать огород лопатой, а может приехать трактор. В будущем, возможно, появится лазер, который вскопает его за секунду. И что, мы запретим этот лазер? Поэтому надо менять сами подходы к обучению. Но когда они поменяются? Только тогда, когда у преподавателей будут четко сформированы новые цели и задачи. А если этих целей и задач нет, то они просто запрещают то, с чем сами не умеют работать.

ЕВ: Вы про студентов, да?

АС: Про студентов, про школьников. Сейчас настолько динамичная область, что этот динамизм должны отслеживать все преподаватели. Но отслеживать его могут лишь люди с высокой долей мотивации, а у некоторых преподавателей мотивации нет. Вот в чем парадокс.

То есть нужна какая-то инициатива, за которой должен стоять амбициозный лидер. Он создает команду, которая выполняет эти задачи, он мотивирует людей, они мотивируются в ответ, и тогда получается результат. А если нет цели и задачи, то, как говорили древние греки: если не знаешь, куда плыть, ни один ветер не будет тебе попутным.

И здесь искусственный интеллект совершенно меняет всю структуру. Могу сказать, что какие-то зачатки этого были и в старое время. Вот я, когда учился, честно могу признаться - извините, я технарь, а не гуманитарий - не мог одолеть «Войну и мир». Мне было тяжело. Я читал про военные баталии, девушки читали про любовь, и мы эту «Войну и мир» просто листали. Были какие-то шпаргалки, аналитические обзоры. Сейчас искусственный интеллект делает точно такой же обзор. И современные школьники уходят в совершенно другое пространство. Они работают уже с другим информационным полем. А значит, и подходы к ним надо менять.

Я больше могу сказать: в Соединенных Штатах есть много научных работ, где ученые прямо пишут, что тот или иной раздел был подготовлен с помощью модели искусственного интеллекта. Но я повторяю: модель искусственного интеллекта - это аппроксимирующая модель. Это не какой-то сверхъестественный разум. Это модели, которые настроены на определенных входных данных. И если мы говорим о лингвистических моделях, то язык сам по себе ограничен. Условно говоря, возьмем китайский язык - там около 50 000 иероглифов и их комбинаций. В других областях тоже требуются колоссальные объемы данных, они должны быть масштабно подготовлены, и там тоже есть свои проблемы. То есть ИИ всегда работает с аппроксимирующими моделями.

И в этом нет ничего страшного, потому что финальное решение принимает человек. Он посмотрел результат, проверил его достоверность. Вот если я пользуюсь искусственным интеллектом, я изначально понимаю, что 50% выданной информации может быть недостоверно. Я должен поискать какое-то объяснение, если оно вообще существует. Искусственный интеллект ограничен в объяснении своих решений, так как в его глубине лежат, условно говоря, простейшие линейные сумматоры. На сегодняшний день, на текущем уровне развития нашей науки, ИИ не может объяснить свой вывод - в отличие от точных математических моделей, где заранее понятен закон распределения, структура и так далее. То есть ИИ дает минимум объяснений, а значит, именно человек должен принимать окончательное решение.

Да, искусственный интеллект бросил нам новый вызов. Это вызов перед всем человечеством. И мы должны этот вызов принять, а не прятаться и закрываться от него. Я объясню почему. Мы живем в обществе государств. Если бы мы существовали просто как какие-то растения в Африке: цвели бы, приносили плоды, и на этом всё бы заканчивалось - тогда ничего страшного не было бы. Но мы живем в государствах, а государства между собой конкурируют. Возможно, это заложено еще в основе кроманьонца, который был создан эволюцией, вышел из Африки и разделился на государства. И мы видим, как эти государства ведут борьбу между собой - как это было в Европе, в Латинской Америке и так далее, везде действуют свои законы.

Так вот, мы как государство должны защищать себя от различных внешних угроз. Защищаться на сегодняшний момент мы можем только с помощью передовых технологий. Поэтому, хотим мы того или нет, мы обязаны эти технологии принять...

ЕВ: ...адаптироваться.

АС: Да, адаптироваться и создавать! Чтобы быть лидерами, мы должны сами их разрабатывать, в каких-то направлениях мы должны быть первыми. Либо объединяться, интегрировать, улучшать. Мы не можем просто противиться прогрессу, мы даже не можем позволить себе быть просто наблюдателями, потому что наблюдатели неизбежно отстанут.

Сейчас существует много теорий развития человечества — например, индустриальное общество и другие. Так вот, один из самых известных современных концептов - это технологическая сингулярность. Развитые страны очень сильно отрываются от неразвитых. И если мы где-то остановимся (особенно в IT-сфере - это 100%), нас моментально кто-то обойдет. Мы не можем себе этого позволить, потому что несем ответственность перед нашими детьми. К тому же человек сам по себе несовершенен, нам необходимо себя защищать. А защитить мы себя можем только прочным технологическим базисом.

ЕВ: Ну, это еще и какой-то технологический суверенитет для страны.

АС: В наше время, когда идет глобальное противоборство на уровне всего человечества - не знаю, победит оно когда-нибудь или нет. Было много футуристических прогнозов, в том числе позитивных, но многие из них не сбылись. Например, в начале века был прогноз: как только появится оружие массового поражения, все страны достигнут мира.

ЕВ: Да, оружие получили, а мира не достигли.

АС: Этот прогноз был опровергнут, ну и так далее. К чему я это говорю: я всё-таки приверженец того, что бытие определяет сознание. Хотя не всё так просто, и понятно, что мир намного сложнее лозунгов. Тем не менее сейчас очень многое определяют именно технологии. Технологии в первую очередь определяют экономику, субъективизм, привлекательность государства. И поэтому мы вынуждены на эти технологии настраиваться.

Хочу сказать, что у нас в стране для этого много чего есть. В принципе, у нас хорошее школьное образование, у нас есть своя история…

ЕВ: ...хорошая математическая школа.

АС: У нас исторически сильная математическая школа. Начиная с двадцатых годов и вплоть до девяностых Санкт-Петербургская (Ленинградская) математическая школа была ведущей в мире. В семидесятые годы у нас была очень сильная базовая подготовка математиков. Многие наши школьники - победители мировых олимпиад.

ЕВ: Совсем недавно наши ребята снова победили на олимпиаде по искусственному интеллекту.

АС: Да, их готовил новый Центральный университет, эксперты «Лаборатории Касперского» и других компаний. То есть это реальные достижения. У нас есть также мощные успехи в IT-технологиях. Огромное количество просто ведущих программистов вышло из России.

ЕВ: Вот фраза «вышло из России», конечно, как-то грустно прозвучала. Как вы видите, на сегодняшний день у нас есть шансы оказаться в шорт-листе мировых лидеров по технологиям? И как вы считаете, на каком месте в мире мы сейчас находимся? Плюс-минус…

АС: Есть объективная статистика: по вложениям в науку, в искусственный интеллект, по его внедрению, по роботизации. Не хочу наводить пессимизм, но эти показатели, к сожалению, пока невысокие.

Однако есть отдельные отрасли и направления, где мы занимаем серьезные позиции. Если взять ту же информационную безопасность - она у нас очень сильная. Во-первых, у нас исторически сильная математическая база. Немногие страны мира имеют собственную криптографию, причем достаточно мощную. Во-вторых, у нас очень хорошие нормативные документы, а в некоторых направлениях мы и вовсе лидеры.

Как бы смешно это ни звучало для тех, кто полон пессимизма, могу сказать как специалист: у нас работают реальные регуляторы, выпускающие очень современные и эффективные документы. Иногда берешь какой-то наш методический документ, например, по управлению уязвимостями, начинаешь сравнивать его с западными аналогами, и берет гордость за нашу страну. Он действительно сделан качественно: это реальные стандарты и рабочие направления.

Технологически мы понимаем, что у нас есть огромный потенциал, который хотелось бы поднять еще выше. У нас великолепное наследие. Хотим мы того или нет, как бы нас ни критиковали, мы - страна, которая первой полетела в космос! Я часто читаю книги, авторы которых могут критиковать нашу страну, но факт остается фактом, его никуда не денешь и не сфальсифицируешь. Мы реально вышли в космос и достигли этого. А ведь это колоссальное количество технологий: психологических, химических, математических…

ЕВ: ...которые используются и по сей день.

АС: Да, используются до сих пор. У нас великая история, многое мы не утратили и продолжаем достигать результатов. Можно привести огромное количество примеров и в других направлениях: тот же первый самолет, созданный Можайским... У нас есть огромный потенциал: есть человеческие амбиции, сильное образование, огромная территория и богатая история. Поэтому я считаю, что перспективы у нас очень хорошие.

ЕВ: Да, безусловно. Я с вами абсолютно согласна.

АС: Если взять те же информационные технологии, хотелось бы, конечно, чтобы в некоторых моментах мы были лучше, но нечего Бога гневить. Если говорить про информационную безопасность - у нас отличное профессиональное сообщество, у нас есть кибервойска, а они есть далеко не во всех странах мира.

ЕВ: В общем, у нас огромные перспективы. И наша задача - во имя будущего наших детей, нашего общества и нашего великого государства с каждым днем становиться лучше: обучаться, развивать технологии, совершенствовать нормативно-правовые акты, в том числе и в этой сфере. И в других отраслях тоже: развивать науку, улучшать образование и медицину. Ну и, как говорится, да будет так!

АС: Более того, мы, в принципе, являемся заложниками этой ситуации. В условиях технологической сингулярности мы сейчас просто не можем позволить себе отстать.

ЕВ: Да, согласна.

АС: Рано или поздно это произойдет. У нас традиционно считается, что русские долго запрягают, но быстро едут.

ЕВ: Ну, давайте уже быстро поедем!

АС: Я думаю, что это неизбежный процесс. Если мы хотим воплотить наши мечты и позаботиться о своих детей, о всех тех людях, которые объединены нашим миром, то другого выхода у нас просто нет. Мы обязаны быть лидерами, и мы ими будем.

ЕВ: Да. И на этой прекрасной ноте мы сегодня закончим. Алексей, огромное вам спасибо! Было очень интересно вас слушать, я получила огромное удовольствие. Слушать вас можно бесконечно. Будем с радостью ждать вас в наших следующих выпусках, как только у вас появится время и возможность. Уважаемые подписчики, пишите свои комментарии и вопросы внизу под этим видео. До новых встреч!

АС: До свидания!

---