امنیت و ایمنی هوش مصنوعی
AI Alignment Taxonomyطبقه‌بندی هم‌راستاسازی
طبقه‌بندی هم‌راستاسازی؛ دسته‌بندی هدف، روش و ریسک در پژوهش هم‌راستاسازی؛ مثلا تفکیک هم‌راستایی با قصد کاربر از هم‌راستایی با ارزش‌های انسانی.
مشاهدهٔ جزئیاتدانشنامهٔ Noventix
واژه‌نامهٔ هوش مصنوعی
مفاهیم و اصطلاحات هوش مصنوعی را عمیق‌تر بشناس.
۳۴۵ اصطلاح آموزشی۲۵ حوزهٔ موضوعیرایگان برای همه
مرور سریع
از الفبا شروع کن
دسته‌بندی‌ها
۲۱ اصطلاحموضوع موردنظرت را انتخاب کن
نتایج فیلترشدهحذف فیلترها
امنیت و ایمنی هوش مصنوعی
AI Ethicsاخلاق هوش مصنوعی
اخلاق هوش مصنوعی؛ اصول و قوانین برای استفاده منصفانه، ایمن و مسئولانه از هوش مصنوعی. موضوعاتی مانند تبعیض، حریم خصوصی، شفافیت، مسئولیت‌پذیری و جلوگیری از آسیب از مهم‌ترین بخش‌های اخلاق هوش مصنوعی هستند.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
AI Governanceحاکمیت هوش مصنوعی
حاکمیت هوش مصنوعی؛ سیاست‌ها و چارچوب‌هایی که سازمان‌ها برای مدیریت ریسک‌های هوش مصنوعی استفاده می‌کنند. هدف آن این است که استفاده از AI در یک سازمان قابل کنترل، قابل نظارت و هماهنگ با قوانین و سیاست‌های سازمان باشد.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
AI Safetyایمنی هوش مصنوعی
ایمنی هوش مصنوعی؛ تلاش‌ها برای جلوگیری از رفتار خطرناک یا ناخواسته در سیستم‌های هوش مصنوعی. تمرکز آن بر کاهش خطا، سوءاستفاده و رفتارهای پیش‌بینی‌نشده و ایجاد سازوکارهایی برای کنترل سیستم‌های هوشمند است.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
AI Securityامنیت هوش مصنوعی
امنیت هوش مصنوعی؛ محافظت از مدل‌ها و داده‌ها در برابر هک، حملات و سوءاستفاده. این حوزه هم خود مدل را در برابر حمله محافظت می‌کند و هم داده‌ها، APIها و زیرساخت‌هایی را که مدل با آن‌ها کار می‌کند.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
API Keyکلید API
کلید API؛ کد محرمانه‌ای که برای دسترسی امن به سرویس‌های هوش مصنوعی استفاده می‌شود. این کلید مانند یک رمز عبور برای شناسایی درخواست‌هاست و نباید در کد عمومی، فایل‌های قابل دانلود یا اختیار افراد غیرمجاز قرار بگیرد.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Alignmentهم‌راستاسازی
هم‌راستاسازی؛ مطمئن شدن از این‌که رفتار هوش مصنوعی با ارزش‌ها و اهداف انسان هماهنگ است. اگر یک مدل با هدف واقعی کاربر هم‌راستا نباشد، ممکن است حتی با انجام درست دستور، نتیجه‌ای نامناسب یا ناخواسته تولید کند.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Attributionانتساب
انتساب؛ نسبت دادن یک خروجی، تصمیم یا محتوا به منبع، مؤلفه یا نویسنده مشخص؛ پایه اعتماد در گزارش‌های داده و خروجی مدل‌های مولد.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Biasسوگیری
سوگیری؛ تمایل سیستم به خروجی‌های ناعادلانه یا یک‌طرفه به دلیل داده‌های آموزشی یا طراحی مدل. سوگیری می‌تواند باعث شود مدل برای بعضی گروه‌ها یا شرایط عملکرد نامناسب‌تری داشته باشد و بنابراین باید در ارزیابی مدل بررسی شود.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
DPO (Direct Preference Optimization)بهینه‌سازی مستقیم ترجیحات
بهینه‌سازی مستقیم ترجیحات؛ روشی برای تنظیم مدل بر اساس ترجیح انسان بین پاسخ‌های مختلف، بدون نیاز به ساخت یک مدل پاداش جداگانه.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Data Governanceحاکمیت داده
حاکمیت داده؛ قوانین و فرآیندها برای مدیریت مسئولانه داده‌ها در سازمان. حاکمیت داده درباره مالکیت، کیفیت، دسترسی، امنیت و نحوه استفاده از داده‌ها تصمیم‌گیری می‌کند.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Data Privacyحریم خصوصی داده
حریم خصوصی داده؛ محافظت از اطلاعات شخصی هنگام استفاده از آن‌ها در سیستم‌های هوش مصنوعی. در پروژه‌های AI باید مشخص باشد چه داده‌ای جمع‌آوری می‌شود، چه کسی به آن دسترسی دارد و برای چه منظوری استفاده می‌شود.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Deepfakeدیپ‌فیک
دیپ‌فیک؛ تصویر یا ویدیوی ساختگی بسیار واقعی که توسط هوش مصنوعی تولید یا دستکاری شده است. از این فناوری می‌توان برای تولید محتوای خلاقانه استفاده کرد، اما امکان سوءاستفاده و جعل هویت نیز وجود دارد.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Guardrailsگاردریل‌ها
گاردریل‌ها؛ قوانین، محدودیت‌ها و کنترل‌هایی که برای جلوگیری از خروجی‌ها یا رفتارهای نامناسب و ناامن در سیستم AI استفاده می‌شوند.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Jailbreakجیل‌بریک
جیل‌بریک؛ تلاش برای دور زدن محدودیت‌ها و قواعد ایمنی یک مدل با استفاده از دستورها یا روش‌های خاص.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Jailbreakingشکستن محدودیت‌های مدل
شکستن محدودیت‌های مدل؛ اصطلاح جایگزینی برای تلاش‌های مکرر در دور زدن قواعد ایمنی مدل با بازنویسی دستور، نقش‌بازی یا رمزگذاری درخواست.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Model Cardکارت مدل
کارت مدل؛ سند کوتاهی که کاربرد موردنظر، محدودیت‌ها، داده آموزش و معیارهای ارزیابی یک مدل را ثبت می‌کند تا استفاده‌کننده ریسک‌ها را بشناسد.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Policy Cycleچرخه سیاست‌گذاری
چرخه سیاست‌گذاری؛ مرحله‌های تعریف مسئله، تدوین قاعده، اجرا، پایش اثر و اصلاح آن برای فناوری‌های نو مانند هوش مصنوعی.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Prompt Injectionتزریق دستور
تزریق دستور؛ حمله یا ورودی مخربی که تلاش می‌کند دستورهای اصلی یک سیستم AI را دور بزند یا مدل را وادار به انجام کاری ناخواسته کند.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
RLHF (Reinforcement Learning from Human Feedback)یادگیری تقویتی از بازخورد انسانی
یادگیری تقویتی از بازخورد انسانی؛ تنظیم مدل‌ها بر اساس ترجیحات و بازخورد انسان‌ها. این روش به مدل کمک می‌کند خروجی‌هایی تولید کند که بیشتر با ترجیحات و انتظارات انسان هماهنگ باشند.
مشاهدهٔ جزئیاتامنیت و ایمنی هوش مصنوعی
Reward Modelمدل پاداش
مدل پاداش؛ مدلی که بازخورد انسانی درباره کیفیت پاسخ‌ها را یاد می‌گیرد و در آموزش با تقویت بازخورد، جای امتیازدهی دستی را می‌گیرد.
مشاهدهٔ جزئیات