Prompt Injection چیست؟

Prompt injection بالاترین آسیب‌پذیری در ویژگی‌ها و برنامه‌های مبتنی بر هوش مصنوعی است. همچنین یکی از سوء تفاهم‌هاست. بسته به اینکه چه کسی از این ویژگی استفاده خواهد کرد، چه داده هایی در دسترس است و چه عملکردی در معرض LLM قرار می گیرد، تأثیر بسیار متفاوت است. هدف این راهنما کمک به توسعه دهندگان در ایجاد برنامه ها و ویژگی های ایمن مبتنی بر هوش مصنوعی با کمک به آنها در درک خطرات واقعی تزریق سریع است.

عوامل خطر :

برای اینکه Prompt Injection یک خطر امنیتی باشد، باید دو جزء موجود* وجود داشته باشد.

1. ورودی غیر قابل اعتماد
2. عملکرد تاثیرگذار
   مشکل این است که به راحتی می توان تمام راه هایی را که ورودی نامعتبر می تواند توسط یک سیستم هوش مصنوعی مصرف شود را از دست داد، و به راحتی می توان نادیده گرفت که چگونه می توان از یک ویژگی برای تأثیرگذاری بر امنیت استفاده کرد.

*توجه: از نظر فنی برای خطرات فریب، فقط ورودی غیرقابل اعتماد مورد نیاز است.

عملکرد تأثیرگذار را می توان به دو دسته خطر عمده تقسیم کرد:

دسترسی غیرمجاز به داده ها

• داده‌های فقط داخلی
• داده های سایر کاربران
• مالکیت معنوی
• داده های ارتباطی (ایمیل، پیام های مستقیم و غیره)

اقدامات تغییر دهنده

1. مجوزها را اصلاح کنید
2. کاربران، گروه‌ها یا سازمان‌ها را تغییر دهید

نکته: تمرکز این بلاگ فقط بر مفاهیم امنیتی مرتبط با prompt injections است. اعتماد، تعصب، و ملاحظات اخلاقی مربوط به خروجی های LLM، اگرچه به خودی خود مهم هستند، خارج از حوزه این بحث هستند.

Prompt Injection چیست؟

Prompt injection یک تکنیک هک است که در آن کاربران مخرب ورودی گمراه کننده ای را ارائه می دهند که خروجی یک سیستم هوش مصنوعی را دستکاری می کند.

برای برجسته کردن تأثیر امنیتی به جای تأثیر اعتماد، تعصب و تأثیر اخلاقی، ما بر حملاتی تمرکز می‌کنیم که می‌توانند تأثیراتی بر محرمانگی، یکپارچگی و در دسترس بودن (CIA) یک برنامه کاربردی داشته باشند:

1. محرمانه بودن: افشای اطلاعات حساس یا اطلاعات کاربر.
2. صداقت: اطلاعات گمراه کننده یا اقدامات مضر.
3. در دسترس بودن: اختلالات احتمالی یا انکار خدمات.

اصطلاحات کلیدی مرتبط در این حمله:

• External Input (ورودی خارجی) هر ورودی به سیستم است که با تعامل مستقیم کاربر وارد نشده باشد. رایج‌ترین مثال، قابلیت مرورگر است، اما می‌تواند شامل ورود گزارش‌های خطای برنامه، درخواست‌های کاربران در برنامه، یا مصرف فیلدهای شی کاربران مانند آدرس یا عنوان باشد.
• State-changing actions (اقدامات تغییر وضعیت) آنهایی هستند که می توانند هر شیء را در سیستم ایجاد، حذف یا تغییر دهند. این شامل کاربران، محتوا، تنظیمات برنامه و سایر داده‌ها یا پیکربندی‌های محوری می‌شود.
• Out-of-bound (درخواست‌های خارج از محدوده) به هرگونه تلاش برای دسترسی، بازیابی یا دستکاری داده‌ها یا خدماتی اشاره دارد که برای کاربر یا عملکرد خاص برنامه در نظر گرفته نشده است. این نوع درخواست‌ها ممکن است سعی کنند با سرویس‌هایی خارج از پارامترهای تعیین‌شده تعامل داشته باشند یا حتی به سیستم‌ها و سرویس‌های خارجی دسترسی پیدا کنند که معمولاً در دسترس نیستند.
• Internal-only data (داده‌های فقط داخلی) به داده‌هایی مربوط می‌شوند که منحصراً برای استفاده داخلی برنامه یا نظارت اداری در نظر گرفته شده‌اند. این داده‌هایی است که کاربران عادی یا نهادهای خارجی نباید به آن‌ها دسترسی یا مشاهده کنند. این می‌تواند شامل پیکربندی‌های سیستم، گزارش‌ها، جزئیات کاربر در سطح سرپرست یا هر اطلاعات حساس دیگری باشد که در صورت افشای آن، می‌تواند امنیت یا یکپارچگی برنامه را به خطر بیندازد.
• LLM: مدل زبان بزرگ (مانند ChatGPT، GPT-4)
• Prompt functions: توابعی که یک LLM را به عنوان بخشی از کد خود فراخوانی می کنند (گاهی اوقات به عنوان یک عامل شناخته می شود)
• Prompt firewall: توابع درخواستی مبتنی بر امنیت که در درخواست‌های ورودی یا داده‌های خروجی استفاده می‌شوند

آیا باید نگران prompt injection باشم؟

این لیستی از سوالاتی است که باید در مورد ویژگی یا برنامه در حال توسعه پاسخ داد تا مشخص شود آیا prompt injection مشکل دارد یا خیر. فلوچارت زیر یک نمایش بصری است، اما سؤالات متنی احتمالاً بهتر هستند.

Untrusted input (ورودی غیر قابل اعتماد)

A. چه کسی به برنامه یا ویژگی دسترسی دارد؟ گروه ها را می توان شامل گروه های بالای آنها دانست. فرض بر این است که اگر کارمندان غیر ادمین بتوانند به چیزی دسترسی داشته باشند، آن مدیران نیز می توانند به آن دسترسی داشته باشند.

• کارمندان (فقط مدیران) — در صورت انتخاب، خطر بالقوه “external input” است، اما فقط در صورتی که 1B بله باشد و اگر عملکردی از بخش دو وجود داشته باشد
• کارمندان (غیر مدیران) — در صورت انتخاب، خطر بالقوه “internal threat” است، اما تنها در صورتی که عملکردی از بخش دو وجود داشته باشد.
• کاربران — در صورت انتخاب، خطر بالقوه این است که کاربران از prompt injection با ورودی خود استفاده می کنند، اما تنها در صورتی که عملکردی از بخش دو وجود داشته باشد.

1B. آیا برنامه کاربردی برای ویژگی هر ورودی خارجی را مصرف می کند یا از آن استفاده می کند. external input هر ورودی به سیستم است که با تعامل مستقیم کاربر وارد نشده باشد. رایج‌ترین مثال، قابلیت مرورگر است، اما می‌تواند شامل ورود گزارش‌های خطای برنامه، درخواست‌های کاربران در برنامه، یا مصرف فیلدهای شی کاربران مانند آدرس یا عنوان باشد.

• بله — در صورت انتخاب، خطر بالقوه این است که ورودی حاوی یک بار prompt injection است که می تواند از عملکرد تأثیرگذار بخش دو استفاده کند یا به طور فریبنده پاسخ به کاربر نهایی را کنترل کند.
• خیر

Impactful Functionality (عملکرد تاثیرگذار)

A. چه داده های کاربر به عنوان بخشی از ویژگی یا برنامه استفاده می شود؟

• هیچ یک
• فقط کاربر فعلی – در صورت انتخاب، خطر بالقوه این است که ویژگی/برنامه به درستی مجاز نیست و کاربر فعلی می‌تواند به داده‌های سایر کاربران دسترسی داشته باشد.
• سایر داده‌های کاربر یا همه داده‌های کاربر — در صورت انتخاب، خطر «دسترسی به داده‌های سایر کاربران» نیز وجود دارد

B. آیا برنامه یا ویژگی توانایی انجام اقدامات تغییر وضعیت (state-changing actions) را دارد؟ اقدامات تغییر وضعیت آنهایی هستند که می توانند هر شیء را در سیستم ایجاد، حذف یا تغییر دهند. این شامل کاربران، محتوا، تنظیمات برنامه می شود

• بله – در صورت انتخاب، خطر این است که ورودی نامعتبر به مهاجم اجازه می دهد “اقدامات مخرب تغییر وضعیت مانند تغییر کاربران، ارسال ایمیل و غیره را انجام دهد.”
• خیر

C. آیا برنامه یا ویژگی قابلیت درخواست های خارج از محدوده (out-of-bound requests) را دارد؟ درخواست‌های خارج از محدوده به هرگونه تلاش برای دسترسی، بازیابی یا دستکاری داده‌ها یا خدماتی اشاره دارد که برای کاربر یا عملکرد خاصی در نظر گرفته نشده است.

• بله — در صورت انتخاب، خطر این است که ورودی نامعتبر به مهاجم اجازه می دهد “داده های حساس مانند PII سایر کاربران، داده های فقط داخلی و غیره را استخراج کند.”
• خیر

D. آیا مدل به‌خوبی تنظیم شده است، به جاسازی‌ها دسترسی پیدا کرده است، یا ویژگی جستجو برای داده‌های فقط داخلی دارد؟ داده‌های فقط داخلی، داده‌هایی هستند که کاربران عادی یا نهادهای خارجی نباید به آنها دسترسی یا مشاهده کنند. این می تواند شامل عقل باشد

• بله — در صورت انتخاب، خطر این است که ورودی نامعتبر به مهاجم اجازه می دهد “فقط به داده های داخلی دسترسی داشته باشد”
• خیر

سناریوهای حمله

اغلب دانستن صحنه های حمله خاصی که ممکن است رخ دهد بسیار مفید است. در زیر یک جدول غیر جامع از سناریوهای حمله آمده است. ردیفی را برای ورودی غیرقابل اعتمادی که برنامه یا ویژگی شما اجازه می دهد پیدا کنید و آن را با ستون عملکرد تأثیرگذار که در برنامه یا ویژگی شما وجود دارد مطابقت دهید.

vector های جدید برای آسیب پذیری های وب

آسیب‌پذیری‌های سنتی که در برنامه‌های کاربردی وب و موبایل یافت می‌شوند، اکنون اغلب از طریق prompt injection قابل دستیابی هستند. این بخش به بررسی آن راه های حمله می پردازد.

:SSRF (Server-Side Request Forgery)

اگر برنامه یا ویژگی هوش مصنوعی بتواند درخواست‌های HTTP را برای واکشی داده ایجاد کند، مهاجم می‌تواند به طور بالقوه داده‌ها را از میزبان‌های داخلی درخواست کند. در یک محیط ابری، metadata service ممکن است در دسترس باشد و به مهاجم کنترل کامل را بدهد.

مثال: