কেস স্টাডি: একটি এআই স্টার্টআপের জন্য ৮-জিপিইউ ইনফারেন্স ক্লাস্টার স্থাপন

চ্যালেঞ্জ

এলএলএম-চালিত পণ্য তৈরির জন্য একটি এআই স্টার্টআপের দ্রুত উত্পাদন-গ্রেডের অনুমান অবকাঠামোর প্রয়োজন ছিল। দলটি দীর্ঘ জিপিইউ লিড টাইমের মুখোমুখি হয়েছিল, একটি সংকীর্ণ বাজেট এবং কোনও অভ্যন্তরীণ ডেটা সেন্টার অভিজ্ঞতা ছিল না।তাদের এমন একজন সরবরাহকারীর প্রয়োজন ছিল যে, পরীক্ষা, এবং চালানোর জন্য প্রস্তুত একটি ক্লাস্টার বিতরণ।

সমাধান

আমাদের ইঞ্জিনিয়ারদের সাথে কাজ করে, গ্রাহক তাদের inference workload এর জন্য কনফিগার করা Dell GPU সার্ভার নির্বাচন করেছেন:

- উচ্চ-কোর-সংখ্যা বিকল্পগুলির সাথে ইন্টেল জিয়ন স্কেলযোগ্য প্রসেসর

- একাধিক এনভিআইডিআইএ-শ্রেণীর জিপিইউ প্রতি নোড, বাজেটের জন্য আকার

- উচ্চ ফ্রিকোয়েন্সি ডিডিআর৫ মেমোরি এবং এনভিএম স্টোরেজ

- আমাদের ল্যাব থেকে প্রাক ইনস্টলড অপারেটিং সিস্টেম এবং বৈধ ড্রাইভার

প্রতিটি নোডের লোডিং এবং স্ট্রেস টেস্ট করা হয়েছিল শিপিংয়ের আগে, এবং আমরা একটি ধাপে ধাপে বিতরণ পরিকল্পনা সরবরাহ করেছি যাতে দলটি প্রথম নোডগুলির সাথে পরীক্ষা শুরু করতে পারে যখন বাকিরা এসেছিল।

ফলাফল

- ক্লাস্টারটি 7 সপ্তাহের মধ্যে স্থাপন করা হয়েছে, অন্যথায় 2 মাসের লিড টাইমের তুলনায়

- পূর্ববর্তী একক-জিপিইউ সেটআপের তুলনায় ইনফারেন্স লেটেন্সি 10% হ্রাস পেয়েছে

- ২৪ মাসের মধ্যে সমতুল্য ক্লাউড জিপিইউ ইনস্ট্যান্সের লিজিংয়ের তুলনায় ১০% খরচ সাশ্রয়

মূল তথ্য

প্রথম ক্লাস্টারের সঠিক আকারের চেয়ে বড়টা কেনার চেয়ে বেশি গুরুত্বপূর্ণ।কারখানার সরাসরি হার্ডওয়্যার এবং চাহিদা বাড়ার সাথে সাথে স্কেলিং এই স্টার্টআপটি অতিরিক্ত মূলধন ছাড়াই লাইভ করতে দিন.

আপনার এআই ইনফারেন্স বা প্রশিক্ষণ অবকাঠামো পরিকল্পনা করার জন্য আমাদের সাথে যোগাযোগ করুন।