Національна асоціація
кібербезпеки

Відповідальне використання ШІ в кіберзахисті.

Посібник G9 · Опубліковано

Для команд безпеки, ІТ-фахівців і керівників організацій, які розглядають інструменти штучного інтелекту (ШІ) для захисту або вже користуються ними. Де вони справді допомагають, де підводять і які правила варто запровадити до першого використання.

Для кого й коли

Посібник для тих, хто відповідає за безпеку: адміністраторів, аналітиків, керівників малих організацій і НКО. Користуйтеся ним, коли вирішуєте, чи підключати ШІ-інструмент до захисту (сповіщення, журнали, пошта), або коли вже користуєтеся ним і хочете впорядкувати правила.

Він про використання ШІ для захисту. Про захист самих ШІ-систем див. «Чекліст безпеки ШІ для малих організацій» і «Агентний ШІ: найменші привілеї та людське схвалення».

Де ШІ справді допомагає

Найкраще ШІ працює як помічник, що звужує обсяг роботи для людини, а не як той, хто вирішує. Показовий приклад дає сама CISA. Вона застосовує машинне навчання без розмітки даних, щоб виявляти аномалії в мережевих даних критичної інфраструктури й у журналах федеральних цивільних мереж. Система лише виділяє потенційні аномалії, а аналітики перевіряють їх і визначають, які сповіщення розслідувати першими 3.

  • Оцінка довіри до індикаторів загроз: модель присвоює оцінку надійності й повноти поданих індикаторів. Вона допомагає аналітикам розставити пріоритети, але не замінює перевірку 3.
  • Пошук персональних даних у даних про загрози: модель позначає підозрілі місця, а аналітик підтверджує або відхиляє знахідку. Регулярні аудити допомагають зберігати надійність процесу 3.

Спільне в усіх прикладах: ШІ показує, куди дивитися, а рішення ухвалює людина. Британський NCSC радить починати з власних потреб, розібратися, як працює технологія, і лише тоді вирішувати, чи дасть інструмент реальний виграш для безпеки 4.

Для підсумовування журналів і розбору підозрілих листів ми не наводимо оцінок ефективності: надійних джерел для цього в посібнику немає. Якщо ви випробовуєте ШІ в таких завданнях, сприймайте результат як підказку й перевіряйте за першоджерелом.

Помилки й надмірна довіра

Будь-який інструмент виявлення помиляється у два боки. Хибне спрацювання — це тривога через безпечну подію, і вона забирає час аналітиків. Хибне непомічання — це пропущена справжня атака, і вона лишається непоміченою.

Генеративні моделі додають ще один ризик. NIST називає його конфабуляцією: упевнено викладений, але хибний вміст 2. NCSC також зазначає, що великі мовні моделі можуть видавати неправдиву інформацію 5. OWASP описує надмірну довіру: користувачі не перевіряють відповідь, і помилка непомітно потрапляє у важливі рішення 9. NIST називає цей ефект автоматизаційним упередженням, тобто надмірною поступливістю перед автоматизованими системами, і зазначає, що воно підсилює інші ризики 2.

Підсумок чи висновок моделі є підказкою, а не доказом. Перш ніж діяти, відкрийте першоджерело: сам журнал, сам лист, сам файл.

ШІ-інструмент як мішень і витік даних

Якщо модель читає лист, вебсторінку чи журнал, у цьому вмісті можуть бути приховані інструкції. OWASP називає це непрямою ін'єкцією промптів і зазначає, що надійного способу повністю її унеможливити не відомо 6. NIST пише, що дослідники вже показали, як такі атаки викрадають дані чи віддалено запускають шкідливий код 2. Для захисника з цього випливає неприємний висновок: дані, які ви аналізуєте, може писати сам зловмисник.

Якщо дати інструменту право діяти (блокувати акаунт, ізолювати пристрій, видаляти листи), помилка чи підмінена інструкція перетворюється на дію. OWASP пов'язує надмірну агентність із галюцинаціями та ін'єкцією промптів і радить вимагати схвалення людини для дій із високим впливом, а права давати мінімальні 8.

Окрема тема — дані. OWASP відносить до чутливої інформації персональні дані, фінансові й медичні записи, облікові дані та конфіденційні документи і радить навчати користувачів не передавати такого моделям 7. NCSC зазначає, що ШІ-системи мають працювати, не розкриваючи чутливих даних неуповноваженим особам 5. Спільна настанова CISA, NSA, ФБР і партнерів підкреслює роль безпеки даних для точності, цілісності й надійності результатів ШІ 10. Журнали й пошта безпеки легко можуть містити саме такі дані.

Доки не з'ясовано, куди потрапляють дані, не вставляйте в зовнішній ШІ-інструмент журнали, листи, ключі, паролі чи персональні дані.

Практичні правила

  1. 01Почніть з однієї вузької потреби. Сформулюйте, що саме має покращитися, і лише потім обирайте інструмент 4.
  2. 02Людина ухвалює рішення щодо кожної дії з наслідками: блокування, видалення, ізоляція, повідомлення зовнішнім адресатам. ШІ пропонує, людина підтверджує 8. Рамка NIST AI RMF передбачає політики, що визначають ролі людей і ШІ та нагляд за системою 1.
  3. 03Призначте відповідальну особу за кожен інструмент. NCSC радить керівникам знати, хто відповідає за безпеку ШІ, і мати план на випадок, якщо цілісність, доступність чи конфіденційність системи порушено 5.
  4. 04Вимірюйте помилки на власних даних. До запуску порівняйте відповіді інструмента з рішеннями ваших фахівців: скільки хибних спрацювань і скільки пропущених подій. Рамка NIST AI RMF передбачає оцінювати роботу системи в умовах, подібних до реальних, і регулярно перевіряти її під час експлуатації 1. Заздалегідь визначте поріг, за якого інструмент вимикають.
  5. 05Дані на вході. Не передавайте чутливі дані зовнішнім моделям без правил і погодженого постачальника. Знеособлюйте або маскуйте їх до використання 7.
  6. 06Недовірений вміст (листи, сторінки, журнали) відокремлюйте й позначайте. Не дозволяйте йому самому запускати дії 6.
  7. 07Перевіряйте за першоджерелом, особливо коли ставки високі 9.
  8. 08Майте спосіб вимкнути. Рамка NIST AI RMF передбачає механізми, що дозволяють замінити, відключити чи деактивувати ШІ-систему, яка працює всупереч задуму 1. Ведіть журнал дій інструмента.
  9. 09Для інструментів, що діють самостійно, додатково прочитайте спільну настанову CISA й партнерів про обережне впровадження агентного ШІ 11.

Питання до постачальника

Це редакційний перелік НАК, складений на основі джерел вище. Це не стандарт і не гарантія безпеки.

  • Які саме мої дані залишають моє середовище, де й скільки зберігаються, як їх видаляють і чи можна відмовитися від використання для навчання 7?
  • Як ви вимірювали помилки (хибні спрацювання й пропущені події) і на яких даних? Чи можна повторити вимірювання на моїх даних 1?
  • Що відбувається, коли у вхідних даних є чужі інструкції? Як інструмент відокремлює їх від моїх 6?
  • Які дії інструмент може виконувати сам, з якими правами, і де в цьому ланцюжку вимагається схвалення людини 8?
  • Як я вимкну інструмент і що збережеться в журналах 1?
  • Хто відповідає та хто виправляє систему, якщо вона дасть збій 4?

Обмеження

Це посібник, а не юридична консультація, не сертифікація й не послуга. НАК не оцінює ШІ-інструменти, не перевіряє ваші системи й не надає послуг виявлення чи аналізу. Приклади CISA показують, як працює її власна практика, а не доводять, що подібний інструмент підійде вам. Настанову NCSC про розумні інструменти безпеки датовано 2019 роком, і NCSC позначило її як таку, що переглядається 4. Текст востаннє перевірено 24.10.2026; використані джерела наведено нижче.

Джерела

  1. 1NIST AI Resource Center. NIST AI RMF Core: Govern, Map, Measure, Manage · англійською · переглянуто 2026-10-24
  2. 2NIST. Artificial Intelligence Risk Management Framework: Generative AI Profile (NIST AI 600-1) · англійською · переглянуто 2026-10-24
  3. 3CISA. CISA Artificial Intelligence Use Cases · англійською · переглянуто 2026-10-24
  4. 4UK National Cyber Security Centre. Intelligent security tools: assessing intelligent tools for cyber security · англійською · переглянуто 2026-10-24
  5. 5UK National Cyber Security Centre. AI and cyber security: what you need to know · англійською · переглянуто 2026-10-24
  6. 6OWASP GenAI Security Project. LLM01:2025 Prompt Injection · англійською · переглянуто 2026-10-24
  7. 7OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure · англійською · переглянуто 2026-10-24
  8. 8OWASP GenAI Security Project. LLM06:2025 Excessive Agency · англійською · переглянуто 2026-10-24
  9. 9OWASP GenAI Security Project. LLM09:2025 Misinformation · англійською · переглянуто 2026-10-24
  10. 10CISA, NSA, FBI and partners. AI Data Security: best practices for securing data used to train and operate AI systems (AA25-142A) · англійською · переглянуто 2026-10-24
  11. 11CISA and partners. Careful Adoption of Agentic Artificial Intelligence (AI) Services · англійською · переглянуто 2026-10-24