"stream": true를 보내면 응답이 서버 전송 이벤트(SSE)로 옵니다. 상태는 200, content-type: text/event-stream입니다.
- OpenAI 형식: 각 이벤트는
data:줄이며 마지막은data: [DONE]입니다.stream_options.include_usage를 켜면 마지막에usage가 담긴 청크가 옵니다. - Anthropic 형식: 이름이 있는 이벤트:
message_start,content_block_start,content_block_delta,content_block_stop,message_delta,message_stop.
하트비트
모델이 조용하면 게이트웨이가 15초마다 : keep-alive 주석 줄을 보냅니다. SSE 파서는 이를 무시합니다.
오류
게이트웨이는 첫 출력을 위해 몇 초(기본 5초) 기다립니다. 그 전에 실패하면 일반 JSON 오류가 반환되고 과금되지 않습니다. 출력이 시작된 뒤 실패하면 스트림 끝에 error 이벤트가 옵니다.
취소 시 과금
- 첫 출력 전에 취소: 과금되지 않습니다.
- 출력이 시작된 뒤 취소: 입력과 지금까지 생성된 출력이 과금됩니다(출력은 추정치).
스트리밍 요청은 Idempotency-Key를 무시합니다. 자세한 내용은 영어 문서에 있습니다.