AutoTweaker API/io.github.autotweaker.api.llm/LlmClient

LlmClient

interface LlmClient(source)

对接一种 LLM 提供商的协议类型，需要打上 @AutoService(LlmClient::class) 来让 AutoTweaker 发现。

Types

data class ProviderInfo(val name: String, val baseUrl: Url, val models: List<ModelData.ModelInfo>, val errorHandlingRules: List<ProviderData.ErrorHandlingRule>)

声明提供商的一些基本信息。

Properties

abstract val providerInfo: LlmClient.ProviderInfo

Functions

abstract suspend fun chat(request: ChatRequest, apiKey: String, baseUrl: Url? = null, timeout: ChatTimeout? = null): Flow<ChatResult>

开始一次 LLM 请求。

abstract suspend fun shutdown()

AutoTweaker 会在程序关闭前调用所有 LlmClient 的 shutdown。