সোমবার একটি মেটা এক্সিকিউটিভ একটি গুজব অস্বীকার করেছে যে সংস্থাটি তার নতুন এআই মডেলগুলিকে মডেলগুলির দুর্বলতাগুলি গোপন করার সময় নির্দিষ্ট মানদণ্ডগুলিতে ভালভাবে উপস্থাপনের জন্য প্রশিক্ষণ দিয়েছে।
নির্বাহী, আহমদ আল-ডাহলে, মেটায় জেনারেটরি এআইয়ের ভিপি, এক্স এ একটি পোস্টে বলেছেন এটি “কেবল সত্য নয়” যে মেটা তার লামা 4 ম্যাভেরিক এবং লামা 4 স্কাউট মডেলগুলিকে “পরীক্ষার সেট” তে প্রশিক্ষণ দিয়েছে। এআই বেঞ্চমার্কগুলিতে, পরীক্ষার সেটগুলি কোনও মডেলের প্রশিক্ষণের পরে কার্যকারিতা মূল্যায়নের জন্য ব্যবহৃত ডেটা সংগ্রহ। একটি পরীক্ষার সেটে প্রশিক্ষণ কোনও মডেলের বেঞ্চমার্ক স্কোরকে বিভ্রান্ত করে ছড়িয়ে দিতে পারে, যা মডেলটিকে বাস্তবে তার চেয়ে বেশি সক্ষম করে তোলে।
সপ্তাহান্তে, একটি অসমর্থিত গুজব এই মেটা কৃত্রিমভাবে তার নতুন মডেলগুলির বেঞ্চমার্কের ফলাফলগুলি এক্স এবং রেডডিটের উপর প্রচারিত হতে শুরু করে। এই গুজবটি কোনও ব্যবহারকারীর কাছ থেকে একটি চীনা সোশ্যাল মিডিয়া সাইটে একটি পোস্ট থেকে উদ্ভূত হয়েছে বলে মনে হয় যে কোম্পানির মানদণ্ডের অনুশীলনগুলির প্রতিবাদে মেটা থেকে পদত্যাগ করেছেন বলে দাবি করেছেন।
যে ম্যাভেরিক এবং স্কাউট রিপোর্ট পারফর্ম খারাপ চালু নির্দিষ্ট কাজ গুজবটিকে আরও বাড়িয়ে তুলেছিল, যেমনটি বেঞ্চমার্ক এলএম অঙ্গনে আরও ভাল স্কোর অর্জনের জন্য ম্যাভেরিকের একটি পরীক্ষামূলক, অপ্রকাশিত সংস্করণ ব্যবহার করার সিদ্ধান্ত নিয়েছিল। এক্স এর গবেষকরা আছে স্টার্ক পর্যবেক্ষণ আচরণে পার্থক্য এলএম অ্যারেনায় হোস্ট করা মডেলের সাথে তুলনা করে সর্বজনীনভাবে ডাউনলোডযোগ্য ম্যাভেরিকের।
আল-ডাহলে স্বীকার করেছেন যে কিছু ব্যবহারকারী মডেলগুলি হোস্টিং বিভিন্ন ক্লাউড সরবরাহকারীদের জুড়ে ম্যাভেরিক এবং স্কাউট থেকে “মিশ্র গুণ” দেখছেন।
আল-ডাহলে বলেছিলেন, “যেহেতু আমরা মডেলগুলি প্রস্তুত হওয়ার সাথে সাথেই বাদ দিয়েছি, আমরা আশা করি যে সমস্ত জনসাধারণের বাস্তবায়ন ডায়াল করতে বেশ কয়েক দিন সময় লাগবে,” আল-ডাহলে বলেছিলেন। “আমরা আমাদের বাগ ফিক্স এবং অন বোর্ডিং অংশীদারদের মাধ্যমে কাজ চালিয়ে যাব।”