NVIDIA Dynamo এজেন্টিক ওয়ার্কফ্লোর জন্য স্ট্রিমিং উন্নত করেছে

Luisa Crawford মে ০৮, ২০২৬ ১৬:৩৪

NVIDIA Dynamo দ্রুততর ও আরও নির্ভুল এজেন্টিক ওয়ার্কফ্লোর জন্য নতুন টুল প্রবর্তন করেছে, যা টোকেন স্ট্রিমিং এবং টুল-কল হ্যান্ডলিং উন্নত করেছে।

NVIDIA তার Dynamo প্ল্যাটফর্মে উল্লেখযোগ্য আপডেট উন্মোচন করেছে, যা উন্নত স্ট্রিমিং, পার্সিং এবং টুল-কল হ্যান্ডলিংয়ের মাধ্যমে এজেন্টিক ওয়ার্কফ্লো অপ্টিমাইজ করার লক্ষ্যে তৈরি। এই আপডেটগুলি মাল্টি-টার্ন ইন্টারঅ্যাকশনের উপর নির্ভরশীল অ্যাপ্লিকেশনগুলির জন্য প্রতিক্রিয়াশীলতা ও নির্ভুলতা উন্নত করার উপর মনোযোগ দেয়, যেমন কোডিং অ্যাসিস্ট্যান্ট এবং অন্যান্য AI-চালিত টুল।

মূল হাইলাইটগুলির মধ্যে একটি হল স্ট্রিমিং টুল-কল ডিসপ্যাচের প্রবর্তন। এই নতুন বৈশিষ্ট্যটি টুল কলগুলিকে ডিকোড হওয়ার সাথে সাথে কার্যকর করতে সক্ষম করে, সম্পূর্ণ রেসপন্স টার্ন শেষ হওয়ার জন্য অপেক্ষা করার প্রয়োজনীয়তা এড়িয়ে যায়। এই পরিবর্তন ব্যবহারকারীদের জন্য টাইম-টু-ফার্স্ট-টোকেন (TTFT) ত্বরান্বিত করে এবং এজেন্ট ওয়ার্কফ্লোতে অদক্ষতা দূর করে যেখানে রিজনিং ও টুল রেসপন্স পরস্পর জড়িত।

প্রম্পট স্থিতিশীলতার মাধ্যমে পারফরম্যান্স লাভ

একটি মূল উন্নতি প্রম্পট স্থিতিশীলতা এবং KV-ক্যাশ পুনর্ব্যবহারের উপর কেন্দ্রীভূত। Anthropic বিলিং হেডারের মতো সেশন-নির্দিষ্ট প্রিঅ্যাম্বল বাদ দিয়ে, Dynamo সেশনগুলিতে সামঞ্জস্যপূর্ণ টোকেন প্রিফিক্স নিশ্চিত করে। এই পরিবর্তন NVIDIA-এর পরীক্ষায় TTFT প্রায় পাঁচগুণ কমিয়েছে, ৫২K-টোকেন প্রম্পট ব্যবহারকারী সিস্টেমে ৯১২ms থেকে ১৬৯ms-এ।

ডেভেলপারদের জন্য, একাধিক ব্যবহারকারী সেশনে বড় ও জটিল প্রম্পট পরিচালনার সময় স্থিতিশীল প্রিফিক্স বজায় রাখা অত্যন্ত গুরুত্বপূর্ণ। এই অপ্টিমাইজেশনগুলি বিশেষভাবে Claude Code এবং Codex-এর মতো এজেন্টিক মডেলগুলির জন্য মূল্যবান, যেগুলি কার্যকরভাবে কাজ করার জন্য সুনির্দিষ্ট ও পুনরাবৃত্তিযোগ্য ইন্টারঅ্যাকশন প্রয়োজন।

জটিল ইন্টারঅ্যাকশনের জন্য উন্নত পার্সিং

Dynamo তার রিজনিং ও টুল-কল পার্সারগুলিও পুনর্নির্মাণ করেছে, সেগুলিকে পুনর্ব্যবহারযোগ্য মডিউলে নিষ্কাশন করেছে। এটি ডেভেলপারদের পার্স করা আউটপুট এবং হার্নেস প্রয়োজনীয়তার মধ্যে আরও ভালো সামঞ্জস্য অর্জন করতে দেয়। আপডেটগুলি একটি দীর্ঘস্থায়ী সমস্যার সমাধান করে যেখানে মাল্টি-টার্ন ইন্টারঅ্যাকশনের সময় পূর্ববর্তী রিজনিং হয় বাদ পড়ে যেত বা ত্রুটিপূর্ণ হয়ে যেত। এজেন্টিক ওয়ার্কফ্লোতে যেখানে রিজনিং টুল-কল সিকোয়েন্স ব্যাখ্যা করে, কাঠামোগত রিজনিং ধরে রাখা অপরিহার্য।

উদাহরণস্বরূপ, NVIDIA প্রদর্শন করেছে কীভাবে তার Nemotron-3-Super-120B মডেল এখন ইন্টারলিভড রিজনিং ও টুল কলগুলি আরও কার্যকরভাবে প্রক্রিয়া করতে পারে, নিশ্চিত করে যে প্রতিটি রিজনিং সেগমেন্ট তার সংশ্লিষ্ট টুল অ্যাকশনের সাথে সঠিকভাবে সংযুক্ত থাকে। এটি সেই সমস্যা প্রতিরোধ করে যেখানে রিজনিং আগে ভুলভাবে গোষ্ঠীবদ্ধ হয়ে প্রসঙ্গ হারিয়ে যেত।

স্ট্রিমিং আচরণ এবং টুল ডিসপ্যাচ

আরেকটি বড় উন্নতি হল একটি সাইড চ্যানেলের মাধ্যমে টুল কল ডিসপ্যাচ করার সময় টোকেনাইজড রেসপন্স স্ট্রিম করার ক্ষমতা। আগে, টুল কলগুলি একটি রেসপন্সের শেষ পর্যন্ত বাফার করা হত, যা কার্যকরীকরণ বিলম্বিত করত। নতুন ইনলাইন স্ট্রিমিং ও ডিসপ্যাচ ক্ষমতার সাথে, টুল কলগুলি পার্স হওয়ার সাথে সাথে কার্যকরযোগ্য হয়ে ওঠে, যা রিয়েল-টাইম অ্যাপ্লিকেশনগুলির জন্য প্রতিক্রিয়াশীলতা উল্লেখযোগ্যভাবে উন্নত করে।

NVIDIA একটি টাইমলাইন তুলনার মাধ্যমে এটি চিত্রিত করেছে যা দেখায় Dynamo এখন কীভাবে মিড-রেসপন্সে টুল কলগুলি পার্স ও স্ট্রিম করে, তাৎক্ষণিক কার্যকরীকরণ সক্ষম করে। এই পুনর্নকশা হার্নেস-সাইডের জটিলতা কমিয়ে দেয় এবং কাস্টম সিস্টেমের সাথে নিরবচ্ছিন্ন ইন্টিগ্রেশন নিশ্চিত করে।

উন্নত API সম্মতি

আপডেটগুলি Anthropic Messages API-এর সাথে Dynamo-র সামঞ্জস্যতাও উন্নত করে, যা Claude Code এবং OpenClaw-এর মতো টুলের জন্য একটি গুরুত্বপূর্ণ ইন্টারফেস। ফিক্সগুলির মধ্যে রয়েছে স্ট্রিমের শুরুতে সঠিক টোকেন গণনা এবং মডেল মেটাডেটা এন্ডপয়েন্ট পরিষেবা দেওয়ার ক্ষমতা, উভয়ই Dynamo-কে নেটিভ ব্যাকএন্ড সমতার কাছাকাছি নিয়ে আসে।

Codex ব্যবহারকারীদের জন্য, OpenAI-এর Responses API-এর সাথে সামঞ্জস্যতাও উন্নত করা হয়েছে। NVIDIA অভ্যন্তরীণ অনুরোধ প্রক্রিয়াকরণের সময় ঘটা ফিল্ড প্রিজার্ভেশন সমস্যাগুলি সমাধান করেছে, নিশ্চিত করে যে রিজনিং সারসংক্ষেপ এবং টুল-কল ট্রাংকেশনের মতো Codex-নির্দিষ্ট বৈশিষ্ট্যগুলি পারফরম্যান্স হ্রাস না করে সমর্থিত।

পরবর্তী পদক্ষেপ

ভবিষ্যতের দিকে তাকিয়ে, NVIDIA Dynamo-র সার্ভিং স্ট্যাকের অংশগুলি মডুলার কম্পোনেন্ট হিসেবে উপলব্ধ করছে, যার মধ্যে রয়েছে প্রোটোকল, পার্সার এবং টোকেনাইজার ক্রেটস। এই মডুলারিটি ডেভেলপারদের Dynamo-র মূল কার্যকারিতা নকল না করে কাস্টম হার্নেস তৈরি করতে বা বিদ্যমান হার্নেস প্রসারিত করতে দেয়।

এই আপডেটগুলি Dynamo-কে এজেন্টিক ওয়ার্কলোডের জন্য একটি শীর্ষস্থানীয় সমাধান হিসেবে প্রতিষ্ঠিত করে, বিভিন্ন অ্যাপ্লিকেশনে আরও দক্ষ ও নির্ভুল মাল্টি-টার্ন ইন্টারঅ্যাকশন সক্ষম করে। AI-চালিত টুলের উপর নির্ভরশীল ডেভেলপার ও প্রতিষ্ঠানগুলির জন্য, এই উন্নতিগুলি কোডিং, ডেটা বিশ্লেষণ এবং তার বাইরের কাজগুলির জন্য আরও নির্ভরযোগ্য ও উচ্চ-কার্যক্ষমতার অবকাঠামো প্রদান করে।

• nvidia
• ai tools
• agentic workflows
• token streaming