Всем хай
Поигрался с апи от опен аи.
Кто пробовал, для модели gpt-3.5-turbo у вас какое время ответа среднее?
У меня на небольшой простой запрос написать до 10 предложений уходит 30-60 сек.
Это нормальная скорость ?
Причем, сокращал до 2х предложений - разница не существенная в скорости ответа.
Попросил 20 предложений - до 2х минут может отвечать.
Также часто ответ - That model is currently overloaded with other requests.
Это норм скорость ? или это для триального тарифа так медленно?