Cara Membangun Aplikasi AI yang Tidak Terikat pada Satu Penyedia

Vendor lock-in dalam aplikasi AI biasanya tidak terjadi sekaligus. Ia merayap masuk — sebuah import openai langsung di sini, sebuah nama model yang di-hardcode di sana, sebuah field respons yang Anda parse tanpa memeriksa apakah penyedia lain mengembalikan hal yang sama. Enam bulan kemudian, beralih penyedia berarti menulis ulang setengah backend Anda.

Empat cara lock-in terjadi

Kebanyakan developer mengira lock-in berarti "Saya menggunakan OpenAI SDK." Itu jenis yang paling tidak berbahaya. Perangkap yang sebenarnya lebih halus:

Tujuannya bukan menghilangkan semuanya — beberapa adalah trade-off yang dapat diterima. Tujuannya adalah mengetahui mana yang Anda ambil.

Gunakan endpoint yang kompatibel dengan OpenAI sebagai lapisan abstraksi Anda

Cara paling bersih menghindari SDK lock-in adalah menggunakan satu endpoint yang kompatibel dengan OpenAI yang melakukan routing ke banyak penyedia. Anda tetap memakai OpenAI SDK, tetapi backend bisa penyedia mana pun.

CometAPI melakukan ini — satu endpoint, satu key, 500+ model di OpenAI, Anthropic, Google, DeepSeek, xAI, dan lainnya:

import osfrom openai import OpenAIfrom dotenv import load_dotenv​load_dotenv()​api_key = os.environ.get("AI_API_KEY")if not api_key:    raise ValueError("AI_API_KEY environment variable is not set")​client = OpenAI(    base_url=os.environ.get("AI_BASE_URL", "https://api.cometapi.com/v1"),    api_key=api_key,)

Beralih dari GPT ke Claude ke Gemini adalah perubahan satu baris:

# Beforeresponse = client.chat.completions.create(model="gpt-5.4", messages=[...])​# After — same code, different modelresponse = client.chat.completions.create(model="claude-sonnet-4-6", messages=[...])

Catatan: Nama model seperti gpt-5.4 dan claude-sonnet-4-6 adalah identifier platform CometAPI — hanya berfungsi melalui https://api.cometapi.com/v1, bukan melalui API OpenAI atau Anthropic langsung. Lihat daftar model lengkap untuk katalog dan harga lengkap.

Jauhkan nama model dari logika bisnis Anda

Nama model yang tersebar di seluruh kode adalah bentuk lock-in yang paling umum. Solusinya adalah konfigurasi terpusat yang membaca dari variabel lingkungan:

# config.py — satu tempat untuk mengubah penetapan modelimport os​MODEL_CONFIG = {    "summarize": os.environ.get("MODEL_SUMMARIZE", "claude-opus-4-7"),    "code":      os.environ.get("MODEL_CODE",      "gpt-5.4"),    "classify":  os.environ.get("MODEL_CLASSIFY",  "claude-haiku-4-5"),    "chat":      os.environ.get("MODEL_CHAT",       "gpt-5.4-mini"),}​# Validasi saat startup — gagal cepat alih-alih mendapat error API yang misteriusfor task, model in MODEL_CONFIG.items():    if not model:        raise ValueError(f"Model config for '{task}' is not set")

Logika bisnis Anda tidak pernah merujuk nama model secara langsung:

from config import MODEL_CONFIG​def summarize(text: str) -> str:    response = client.chat.completions.create(        model=MODEL_CONFIG["summarize"],        messages=[{"role": "user", "content": f"Summarize: {text}"}],        max_tokens=300  # move to config in production    )    return response.choices[0].message.content

Untuk mengganti model peringkasan di seluruh aplikasi, ubah satu variabel lingkungan. Tanpa grep, tanpa find-and-replace.

Bungkus respons agar kode Anda tidak bergantung pada field spesifik penyedia

Penyedia berbeda mengembalikan bentuk respons yang sedikit berbeda. Jika Anda melakukan parsing respons API mentah di seluruh codebase, Anda terkunci pada format penyedia tersebut.

Bungkus menjadi dataclass yang dinormalisasi:

from dataclasses import dataclassfrom typing import Optionalfrom openai import OpenAI, APIStatusError, APIConnectionError, APITimeoutErrorfrom openai.types.chat import ChatCompletionimport logging​@dataclassclass AIResponse:    content: str    model: str    input_tokens: int    output_tokens: int​def call_model(task: str, messages: list, **kwargs) -> AIResponse:    """    Single entry point for all LLM calls.    Returns a normalized AIResponse regardless of which model handled it.    Raises on 4xx (client errors). Logs and re-raises on 5xx/network errors.    """    model = MODEL_CONFIG.get(task, "gpt-5.4-mini")    if not model:        raise ValueError(f"No model configured for task '{task}'")​    try:        response: ChatCompletion = client.chat.completions.create(            model=model,            messages=messages,            **kwargs        )    except APIStatusError as e:        logging.error(f"API error for task={task} model={model}: {e.status_code} {e.message}")        raise    except (APIConnectionError, APITimeoutError) as e:        logging.error(f"Network error for task={task} model={model}: {e}")        raise​    # content is None when the model triggers a tool call instead of returning text    content = response.choices[0].message.content or ""​    # usage is None in streaming mode — default to 0 if not available    usage = response.usage    input_tokens = usage.prompt_tokens if usage else 0    output_tokens = usage.completion_tokens if usage else 0​    logging.info(        f"task={task} model={model} "        f"input_tokens={input_tokens} output_tokens={output_tokens}"    )​    return AIResponse(        content=content,        model=response.model,        input_tokens=input_tokens,        output_tokens=output_tokens,    )

Sekarang logika bisnis Anda bekerja dengan objek AIResponse, bukan respons API mentah. Jika sebuah penyedia mengubah format responsnya, Anda memperbaikinya di satu tempat.

Tambahkan dukungan streaming pada wrapper

Untuk antarmuka chat, Anda akan menginginkan streaming. Wrapper menanganinya sebagai jalur terpisah:

from typing import Iterator​def stream_model(task: str, messages: list, **kwargs) -> Iterator[str]:    """    Stream tokens from the routed model.    Note: streaming doesn't return usage data.    Fallback is not supported in streaming mode — you've already    started yielding tokens before you know if the full request succeeds.    """    model = MODEL_CONFIG.get(task, "gpt-5.4-mini")    if not model:        raise ValueError(f"No model configured for task '{task}'")​    stream = client.chat.completions.create(        model=model,        messages=messages,        stream=True,        **kwargs    )​    for chunk in stream:        delta = chunk.choices[0].delta.content        if delta:            yield delta​# Usagefor token in stream_model("chat", [{"role": "user", "content": "Hello"}]):    print(token, end="", flush=True)

Ketahui parameter mana yang menimbulkan lock-in

Beberapa parameter hanya ada pada penyedia tertentu. Menggunakannya tidak masalah — cukup ketahui bahwa Anda membuat pilihan sadar:

Jika Anda menggunakan logprobs untuk penilaian kepercayaan, Anda terkunci pada GPT untuk fitur itu. Itu trade-off yang masuk akal — cukup dokumentasikan agar developer berikutnya tahu alasannya.

Buat endpoint penyedia dapat dikonfigurasi

Meng-hardcode base_url="https://api.cometapi.com/v1" tetap merupakan bentuk lock-in. Jadikan ini variabel lingkungan:

# .env — menggunakan CometAPIAI_BASE_URL=https://api.cometapi.com/v1AI_API_KEY=your_cometapi_key​# To switch to OpenAI directly, change two lines:# AI_BASE_URL=https://api.openai.com/v1# AI_API_KEY=your_openai_key

Inisialisasi client dari Langkah 1 sudah membaca dari variabel ini. Beralih antara CometAPI dan koneksi penyedia langsung kini menjadi perubahan konfigurasi, bukan perubahan kode.

Versi Node.js

import OpenAI from 'openai';​const apiKey = process.env.AI_API_KEY;if (!apiKey) throw new Error('AI_API_KEY is not set');​const client = new OpenAI({  baseURL: process.env.AI_BASE_URL ?? 'https://api.cometapi.com/v1',  apiKey,});​// Model IDs are CometAPI platform identifiers — see cometapi.com/modelsconst MODEL_CONFIG = {  summarize: process.env.MODEL_SUMMARIZE ?? 'claude-opus-4-7',  code:      process.env.MODEL_CODE      ?? 'gpt-5.4',  classify:  process.env.MODEL_CLASSIFY  ?? 'claude-haiku-4-5',  chat:      process.env.MODEL_CHAT      ?? 'gpt-5.4-mini',};​// Validate at startupfor (const [task, model] of Object.entries(MODEL_CONFIG)) {  if (!model) throw new Error(`Model config for '${task}' is not set`);}​/** * Single entry point for all LLM calls. * Returns normalized response. Raises on 4xx, logs and re-raises on 5xx/network. */async function callModel(task, messages, options = {}) {  const model = MODEL_CONFIG[task] ?? 'gpt-5.4-mini';​  let response;  try {    response = await client.chat.completions.create({      model,      messages,      ...options,    });  } catch (err) {    // Don't swallow errors — log and re-raise    console.error(`API error task=${task} model=${model}:`, err.message);    throw err;  }​  // content is null when model triggers a tool call  const content = response.choices[0].message.content ?? '';​  // usage may be absent in some configurations  const inputTokens  = response.usage?.prompt_tokens     ?? 0;  const outputTokens = response.usage?.completion_tokens ?? 0;​  console.log(`task=${task} model=${model} input=${inputTokens} output=${outputTokens}`);​  return { content, model: response.model, inputTokens, outputTokens };}​/** * Stream tokens from the routed model. * Usage data is not available in streaming mode. */async function* streamModel(task, messages, options = {}) {  const model = MODEL_CONFIG[task] ?? 'gpt-5.4-mini';​  const stream = await client.chat.completions.create({    model,    messages,    stream: true,    ...options,  });​  for await (const chunk of stream) {    const delta = chunk.choices[0]?.delta?.content;    if (delta) yield delta;  }}​// Usage — blockingconst result = await callModel('classify', [  { role: 'user', content: 'Positive or negative? "Loved it!"' }]);console.log(result.content);​// Usage — streamingfor await (const token of streamModel('chat', [  { role: 'user', content: 'Hello' }])) {  process.stdout.write(token);}

Lock-in mana yang dapat diterima

Tidak semua lock-in layak dilawan. Beberapa trade-off masuk akal:

• Menggunakan OpenAI SDK — Ini standar de facto. Mayoritas penyedia mendukungnya. Lock-in berisiko rendah.
• Fitur spesifik penyedia yang benar-benar Anda butuhkan — Jika Anda butuh logprobs, gunakan. Isolasi kode itu agar mudah ditemukan dan diganti nanti.
• Model fine-tuned — Model fine-tuned secara inheren terikat ke satu penyedia. Itu sudah sesuai harapan.

Lock-in yang layak dihindari adalah yang terjadi secara tidak sengaja — nama model di logika bisnis, parsing respons mentah tersebar di banyak file, API key di-hardcode dalam source.

Langkah berikutnya

Anda kini memiliki lapisan abstraksi yang menjaga detail penyedia keluar dari logika bisnis Anda. Artikel terakhir dalam seri ini membahas apa yang terjadi saat ada masalah: cara debug kegagalan generasi, menafsirkan kode error, dan membangun penanganan error yang benar-benar memberi tahu Anda apa yang rusak.

Selanjutnya: How to Debug Failed AI API Generations

FAQ

Q: Apa perbedaan antara SDK lock-in dan model lock-in?

SDK lock-in berarti kode Anda mengimpor library tertentu dan perlu diubah jika Anda mengganti SDK. Model lock-in berarti nama model tersebar di seluruh logika bisnis. SDK lock-in kurang berbahaya karena sebagian besar penyedia sekarang mendukung format OpenAI SDK. Model lock-in lebih licik karena lebih sulit ditemukan dan diperbaiki.

Q: Jika saya menggunakan CometAPI, apakah saya hanya menukar lock-in OpenAI dengan lock-in CometAPI?

Sebagian. Anda menukar lock-in penyedia langsung dengan lapisan proxy. Keuntungannya: satu key, satu endpoint, mudah ganti model. Risikonya: jika CometAPI mengalami outage, semua penyedia Anda ikut down. Mitigasinya sudah ada di kode di atas — AI_BASE_URL adalah variabel lingkungan. Jika Anda perlu melewati CometAPI dan memanggil penyedia langsung, itu perubahan konfigurasi, bukan perubahan kode.

Q: Bisakah saya menggunakan extended thinking milik Claude atau reasoning_effort milik OpenAI melalui pola ini?

Ya, teruskan sebagai **kwargs ke call_model. Ketahuilah bahwa jika Anda merutekan tugas itu ke model lain, parameter tersebut akan diabaikan atau menyebabkan error. Dokumentasikan tugas mana yang memakai fitur spesifik penyedia agar developer berikutnya tahu alasannya.

Q: Bagaimana saya menangani batas temperature Claude di 1.0 saat merutekan antara Claude dan GPT**?**

Tetapkan temperature pada atau di bawah 1.0 untuk tetap aman di keduanya. Jika Anda butuh temperature lebih tinggi untuk tugas kreatif khusus pada GPT, rute tugas tersebut ke GPT secara eksplisit di MODEL_CONFIG alih-alih membiarkannya jatuh ke router umum.

Q: Haruskah saya mengabstraksikan API pembuatan gambar dan video dengan cara yang sama?

Prinsipnya sama — konfigurasi terpusat, wrapper respons yang dinormalisasi, tidak ada field spesifik penyedia di logika bisnis. API gambar dan video memiliki lebih banyak perbedaan struktural (async vs sync, set parameter berbeda) sehingga lapisan abstraksinya butuh lebih banyak kerja. Mulailah dari teks, lalu perluas polanya setelah strukturnya matang.

Q: Bagaimana dengan perbedaan context window antar model?

Ini risiko nyata saat melakukan routing. GPT-5.5 memiliki context window 1M token, model Claude mendukung hingga 200K, dan Gemini 3.5 Flash mendukung hingga 1M. Jika Anda merutekan tugas dokumen panjang ke model dengan context window lebih pendek, input akan terpotong secara diam-diam. Tambahkan pemeriksaan panjang konteks sebelum routing jika tugas Anda melibatkan input panjang — atau selalu rute tugas ber-konteks-panjang ke model tertentu di MODEL_CONFIG alih-alih membiarkannya jatuh ke default.