На кафедрі кібербезпеки ми продовжуємо системно оновлювати зміст нашої освітньо-професійної програми «Кібербезпека автоматизованих, мехатронних і робототехнічних систем», спираючись на найсучасніший європейський досвід. Завідувачка кафедри Олена Крайнюк та старший викладач Борис Походенко завершили навчання в літній школі «Найкращі практики ЄС для використання надійного штучного інтелекту», що проходила в межах модуля Жана Моне проєкту Еразмус+ «Інтеграція перспективної екосистеми кібербезпеки ЄС в Україні». Це навчання дозволило глибше інтегрувати питання безпеки ШІ в контекст нашої спеціальності.
Сучасні автоматизовані та робототехнічні системи сьогодні все частіше інтегрують інтелектуальні алгоритми, тому питання захисту таких комплексів від нових типів атак стає першочерговим. У межах курсу було опрацьовано низку важливих аспектів, які вже інтегруємо в навчальний процес:
- Вивчення специфічних вразливостей LLM-моделей та методів протидії атакам типу prompt injection, адже це критично важливо при захисті алгоритмів керування мехатронними системами від непередбачуваної поведінки.
- Застосування вимог Закону ЄС про штучний інтелект (EU AI Act) до проєктування систем з високим рівнем ризику, що дозволить готувати випускників до роботи з європейськими стандартами безпеки та прозорості.
- Використання методологій моделювання загроз на кшталт MITRE ATLAS для виявлення слабких місць у конвеєрах машинного навчання, що допоможе студентам бачити вразливості на етапах розробки та експлуатації ML-систем.
- Впровадження принципів відповідального ШІ, що мінімізує ризики помилок під час автономної роботи робототехнічних комплексів завдяки забезпеченню людського контролю та прозорості рішень.
За результатами літньої школи планується внести низку оновлень до змісту окремих освітніх компонентів нашої програми:
- В оновлений зміст «Основи кібербезпеки» та «Інформаційна безпека» ми інтегруємо базові поняття безпеки систем ШІ, зокрема класифікацію загроз та принципи «відповідального ШІ».
- У дисципліну «Теорія автоматичного керування» плануємо додати розділи, присвячені ризикам автономності в мехатронних системах та необхідності людського нагляду згідно з вимогами EU AI Act.
- В «Обробка інцидентів, моніторинг та аудит безпеки» додамо практичні кейси з протидії атакам на моделі машинного навчання, такі як ін'єкції промптів, які стають частиною сучасних кібератак.
- Дисципліни вибіркового блоку, такі як «Безпека штучного інтелекту в кіберфізичних системах», будуть максимально оновлені практичними інструментами для аудиту упередженості та забезпечення прозорості моделей, що є ключовим для відповідності європейським стандартам.
Додатково ми опрацювали можливості модернізації фундаменту підготовки наших студентів - дисципліни «Алгоритмізація та програмування». Вже на початковому етапі вивчення мов програмування ми плануємо інтегрувати основи безпечного використання AI-помічників (як-от Copilot чи інші LLM-засоби), що активно використовуються в розробці. Студенти вчитимуться не лише створювати код, а й критично оцінювати згенеровані штучним інтелектом рішення на наявність логічних вразливостей, ризиків витоку даних чи потенційних «закладок». Це допоможе формувати культуру безпечного програмування ще до того, як вони перейдуть до вивчення специфічних дисциплін із захисту інформації.
Цей досвід став важливим кроком у модернізації нашої програми. Ми прагнемо, щоб наші студенти не лише володіли класичними методами захисту, а й були готові до викликів, які несе інтеграція штучного інтелекту в автоматизовані та робототехнічні комплекси. Це дозволить нам підтримувати високий рівень підготовки фахівців, здатних працювати з найсучаснішими технологіями на європейському рівні.