ডিফিউশন মডেল ইনফারেন্স স্কেলিং নতুন দৃষ্টান্ত
সাম্প্রতিককালে লার্জ ল্যাঙ্গুয়েজ মডেলগুলির (LLMs) ইনফারেন্সের সময় স্কেলিংয়ের কার্যকারিতা দেখা গিয়েছে। বিভিন্ন মডেল যেমন o1, o3, DeepSeek R1, QwQ, এবং Step Reasoner mini প্রমাণ করেছে যে ইনফারেন্সের সময় বেশি কম্পিউটেশন ব্যবহার করলে কর্মক্ষমতা উল্লেখযোগ্যভাবে বাড়ে। এই বিষয়টি মাথায় রেখে, নিউ ইয়র্ক ইউনিভার্সিটির একদল গবেষক একটি সাধারণ অনুসন্ধান কাঠামোর মাধ্যমে অনুসন্ধান করে দেখেছেন যে, ডিফিউশন মডেলের ক্ষেত্রেও ইনফারেন্স-টাইম স্কেলিং কার্যকর। ইনফারেন্সের সময় কম্পিউটেশন বাড়ানো হলে জেনারেটেড স্যাম্পেলের গুণমান উল্লেখযোগ্যভাবে বৃদ্ধি পায়। এই গবেষণায় আরও দেখা গেছে, ইমেজের জটিলতা বিভিন্ন অ্যাপ্লিকেশন পরিস্থিতির জন্য ফ্রেমওয়ার্কের মধ্যে বিভিন্ন উপাদানের সংমিশ্রণ তৈরি করতে সহায়ক। এই ফ্রেমওয়ার্ক দুটি মূল ডিজাইন অক্ষের উপর দৃষ্টি নিবদ্ধ করে: যাচাইকারী এবং অ্যালগরিদম। যাচাইকারীরা অনুসন্ধান প্রক্রিয়ার সময় প্রতিক্রিয়া প্রদান করে এবং অ্যালগরিদমগুলি আরও ভালো নয়েজ ক্যান্ডিডেট খুঁজে বের করে। এই গবেষণায় তিনটি ভিন্ন পরিস্থিতিতে যাচাইকারীদের ব্যবহার করা হয়েছে, যেখানে বিভিন্ন ব্যবহারের ক্ষেত্রগুলি অনুকরণ করা হয়েছে। অ্যালগরিদমের জন্য, তারা র্যান্ডম সার্চ, জিরো-অর্ডার সার্চ এবং পাথ সার্চ নিয়ে কাজ করেছেন। এই গবেষণাটি মূলত একটি সাধারণ ইমেজনেট ক্লাস-কন্ডিশনাল জেনারেশন সেটআপে ডিজাইন করা হয়েছিল, পরবর্তীতে বৃহত্তর টেক্সট-কন্ডিশনাল জেনারেশনেও এর প্রয়োগ করা হয়েছে। এছাড়াও, এই গবেষণাটি ছোট ডিফিউশন মডেলগুলিতে ইনফারেন্স-টাইম স্কেলিংয়ের কার্যকারিতা নিয়েও আলোচনা করেছে।