Представляем LiteLLM, необычный инструмент, который вызывает все API LLVM, используя формат Open AI.

Это библиотека, обеспечивающая бесшовную интеграцию с различными языковыми моделями. Это позволяет использовать единый формат как для ввода, так и для вывода независимо от используемого LLM.

Поддерживаемые поставщики включают OpenAI, Azure, AWS, Google, Cohere, Hugging face, Vertuxai, Together и многих других.

Источник