স্ট্রিমিং

"stream": true দিলে উত্তর সার্ভার-সেন্ট ইভেন্ট (SSE) হিসেবে আসে। স্ট্যাটাস 200, content-type: text/event-stream।

• OpenAI ফরম্যাট: প্রতিটি ইভেন্ট একটি data: লাইন; শেষে data: [DONE]। stream_options.include_usage দিলে শেষে usage সহ একটি চাঙ্ক আসে।
• Anthropic ফরম্যাট: নামযুক্ত ইভেন্ট: message_start, content_block_start, content_block_delta, content_block_stop, message_delta, message_stop।

হার্টবিট

মডেল চুপ থাকলে গেটওয়ে প্রতি ১৫ সেকেন্ডে : keep-alive মন্তব্য-লাইন পাঠায়। SSE পার্সার এটি উপেক্ষা করে।

ত্রুটি

প্রথম আউটপুটের জন্য গেটওয়ে কয়েক সেকেন্ড (ডিফল্ট ৫) অপেক্ষা করে। তার আগে ব্যর্থ হলে সাধারণ JSON ত্রুটি আসে এবং কিছু কাটা হয় না। আউটপুট শুরুর পরে ব্যর্থ হলে স্ট্রিমের শেষে একটি error ইভেন্ট আসে।

বাতিল করলে বিলিং

• প্রথম আউটপুটের আগে বাতিল: কিছু কাটা হয় না।
• আউটপুট শুরুর পরে বাতিল: ইনপুট এবং এ পর্যন্ত তৈরি আউটপুটের জন্য বিল হয় (আউটপুট অনুমানভিত্তিক)।

স্ট্রিম অনুরোধে Idempotency-Key উপেক্ষিত হয়। বিস্তারিত ইংরেজি সংস্করণে।