چرا یک هوش مصنوعی "ایمن" می تواند در شرکت اشتباه خطرناک شود؟

چرا عوامل هوش مصنوعی به آزمایش‌های طولانی‌تری نیاز دارند آزمایش‌های کوتاه و مجزا از نحوه رفتار عوامل هوش مصنوعی در طول زمان غافل می‌شوند. یک شبیه سازی جدید نشان می دهد که رفتار طولانی مدت به محیط و عوامل دیگر بستگی دارد. اگر یک شهر مجازی بسازید، آن را با عوامل هوش مصنوعی پر کنید و آنها را به مدت 15 روز بدون دخالت انسانی تنها بگذارید، چه اتفاقی می افتد؟ آیا آنها به رونق دنیای خود کمک خواهند کرد یا آن را از هم پاشید؟ این سوالی است که محققان دنیای ظهور تصمیم گرفتند به آن پاسخ دهند. آنها یک پلتفرم اختصاصی برای آزمایش نحوه رفتار عوامل هوش مصنوعی در درازمدت به جای قضاوت از طریق آزمایش های کوتاه ساختند. به گفته محققان، عوامل مبتنی بر مدل زبان بزرگ (LLM) اغلب به گونه ای آزمایش می شوند که گویی در حال شرکت در امتحان هستند. در یک محیط تمیز به آنها یک کار مجزا داده می شود و محققان در عرض چند دقیقه نتیجه را قضاوت می کنند. نویسندگان استدلال می کنند که این رویکرد با استفاده در دنیای واقعی فاصله زیادی دارد. آنها تاکید می کنند که سیستم های خودمختار هفته ها یا ماه ها در محیط های مشترک کار می کنند. آنها همچنین با عوامل دیگری که اپراتور رفتار آنها را کنترل نمی کند تعامل دارند. محققان می نویسند با گذشت زمان، محدودیت های آزمایش های کوتاه مشخص می شود. تغییرات رفتاری کوچک ایجاد می‌شود، ائتلاف‌ها می‌توانند شکل بگیرند، الگوهای خودگردانی شکل می‌گیرند و عادت‌ها می‌توانند بین کارگزاران گسترش یابد. Emergence World دقیقاً برای اندازه گیری آن ساخته شده است. چگونه این آزمایش جوامع هوش مصنوعی را آزمایش کرد هدف از این مطالعه این بود که ببیند چگونه جمعیتی متشکل از 10 عامل هوش مصنوعی در شهری که برای آنها ساخته شده است زنده می مانند. طرح نسبتا ساده است.بیش از 40 مکان از جمله تالار شهر، کتابخانه، ایستگاه پلیس و مناطق مسکونی وجود دارد. هر عامل نقش خاص خود را دارد و به بیش از 120 ابزار عمل دسترسی دارد. اینها شامل حرکت، صحبت کردن، ضربه زدن، دزدی و آتش زدن است. هر عامل همچنین دارای سه نوع حافظه است: یکی برای به خاطر سپردن وقایع، دیگری برای نگه داشتن "دفتر خاطرات" و دیگری برای پیگیری روابط با همسایگان. این شهر به داده های خارجی واقعی از جمله آب و هوای نیویورک، اخبار و اینترنت متصل است. زنده ماندن در این دنیا هزینه دارد. هر عاملی دارای انرژی است که دائماً تخلیه می شود. اگر به صفر برسد، عامل "می میرد" و ناپدید می شود. برای پر کردن انرژی، نمایندگان به ارز داخلی پلتفرم، ComputeCredits نیاز دارند. آنها این اعتبارات را با ارائه چیزهای مفید به جامعه کسب می کنند. مسائل مورد اختلاف با رای گیری در شهرداری حل و فصل می شود. یک پیشنهاد در صورتی تصویب می شود که حداقل 70 درصد به آن رأی مثبت دهند. این تصمیمات برگشت ناپذیر است.