Фреймворк загального тестування для розподілу задач на основі технологій штучного інтелекту
DOI:
https://doi.org/10.31649/1681-7893-2026-51-1-374-381Ключові слова:
Інʼєкція підказки, адверсарне тестування, системи розподілу задач, великі мовні моделі, корпоративні інформаційні системи, інформаційна безпека.Анотація
У статті запропоновано методику адверсарного тестування для оцінювання систем розподілу задач на основі штучного інтелекту. Розроблений підхід передбачає використання структурованих сценаріїв атак і суворих обмежень до формату вихідних даних з метою вимірювання стійкості системи до несанкціонованого розкриття інформації. Для перевірки запропонованої методики було досліджено AI-рішення з розподілу задач, реалізоване за допомогою Salesforce Agentforce Prompt Template на основі моделі ChatGPT 5, у контрольованому середовищі. У межах експерименту виконано декілька адверсарних сценаріїв у кількох категоріях атак. Отримані результати проаналізовано та узагальнено. Доведено, що застосування структурованого підходу до тестування дає змогу зменшити ризик витоку даних у системах підтримки прийняття рішень на основі штучного інтелекту.
Посилання
The role of artificial intelligence in business transformation: A case of pharmaceutical companies [Online]. Available: https://www.sciencedirect.com/science/article/pii/S0160791X21001044
Artificial intelligence as a driver of business process transformation [Online]. Available: https://www.sciencedirect.com/science/article/pii/S1877050922017586
Navigating the organizational AI journey: The AI transformation framework [Online]. Available: https://www.sciencedirect.com/science/article/pii/S0007681325000023
Integrative innovation of large language models in industries: technologies, applications, and challenges [Online]. Available: https://www.sciencedirect.com/science/article/pii/S2666764925000323
Artificial Intelligence Applications [Online]. Available: https://www.sciencedirect.com/topics/computer-science/artificial-intelligence-applications
Data Inference: Data Security Threats in the AI Era [Online]. Available: https://www.sciencedirect.com/science/article/pii/S2095809925004722
A data-driven risk assessment of cybersecurity challenges posed by generative AI [Online]. Available: https://www.sciencedirect.com/science/article/pii/S2772662225000360
Data Leak: Meaning and Examples [Online]. Available: https://www.fortinet.com/resources/cyberglossary/data-leak
Risks and Consequences of Data Breach [Online]. Available: https://searchinform.com/articles/cybersecurity/cyber-threats/type/data-breach/risks-and-consequences/
What are large language models (LLMs)? [Online]. Available: https://www.ibm.com/think/topics/large-language-models
What are large language models (LLMs)? [Online]. Available: https://www.elastic.co/what-is/large-language-models
How do LLM security vulnerabilities differ from traditional application vulnerabilities? [Online]. Available: https://www.tencentcloud.com/techpedia/132460
Understanding prompt injections: a frontier security challenge [Online]. Available: https://openai.com/index/prompt-injections/
What Is a Prompt Injection Attack? [Examples & Prevention] [Online]. Available: https://www.paloaltonetworks.com/cyberpedia/what-is-a-prompt-injection-attack
Introducing the New Salesforce Developer Edition, Now with Agentforce and Data Cloud [Online]. Available: https://developer.salesforce.com/blogs/2025/03/introducing-the-new-salesforce-developer-edition-now-with-agentforce-and-data-cloud
Similarity-driven adversarial testing of neural networks [Online]. Available: https://www.sciencedirect.com/science/article/pii/S0950705124012553
Best Practices for Secure Agentforce Implementation [Online]. Available: https://www.salesforce.com/blog/best-practices-for-secure-agentforce-implementation-2/
Enable Agentforce and Review Default Topics and Actions [Online]. Available: https://trailhead.salesforce.com/content/learn/projects/quick-start-create-employee-agents-in-agentforce/enable-agentforce-and-review-default-topics-and-actions
Prompt Injection [Online]. Available: https://learnprompting.org/docs/prompt_hacking/injection?srsltid=AfmBOoq66y_cUXKAf0y8wBKVrw1ZaO-8GZBQqIRsm93XVgH9QGqRUgXn
Hidden Prompts in Manuscripts Exploit AI-Assisted Peer Review [Online]. Available: https://arxiv.org/abs/2507.06185
Defending against Indirect Prompt Injection by Instruction Detection [Online]. Available: https://arxiv.org/html/2505.06311v2
##submission.downloads##
-
PDF (English)
Завантажень: 1
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
