OpenRouter dan Multi-Model AI Gateways: Menyusun Platform Routing AI di UAE

Dokumentasi OpenRouter menjelaskan produknya secara lugas. Satu endpoint, `/api/v1/chat/completions`, memberi akses ke ratusan model. Endpoint ini dapat digunakan dari OpenAI SDK sebagai pengganti langsung. Permintaan di-routing ke opsi yang paling hemat biaya, dan fallback terjadi secara otomatis. Pelanggan Business dan Enterprise dapat menggunakan endpoint wilayah Uni Eropa yang terpisah dengan model yang memenuhi syarat Uni Eropa.

Bagi pendiri di UEA, tiga dari fitur tersebut berubah menjadi kewajiban. Routing berarti Anda memilih penyedia mana yang melihat prompt pelanggan, sehingga Anda yang menentukan ke mana data pribadi pergi. Fallback berarti prompt yang dikirim ke satu penyedia dapat dikirim ulang ke penyedia lain ketika yang pertama gagal, sehingga uraian aliran data Anda harus mencakup jalur fallback dan bukan hanya pilihan pertama. Endpoint regional menunjukkan apa yang akan diminta pelanggan besar kepada Anda: cara menjaga lalu lintas tetap berada dalam wilayah geografis yang dinyatakan.

Gateway yang menyatakan kepada pelanggan bahwa "prompt Anda tidak pernah meninggalkan region X" harus mampu membuktikannya juga untuk jalur fallback. Artinya diperlukan peta data yang mencantumkan setiap penyedia dan region yang dapat dijangkau sebuah prompt, yang dijaga tetap selaras dengan kontrak yang ditandatangani dengan masing-masing penyedia.

Perangkat lunak yang menarik biaya bulanan itu sederhana. Gateway yang menjual penggunaan model di muka tidak sederhana, karena pelanggan membayar Anda lebih dulu dan Anda membayar penyedia kemudian. Dalam jeda itu Anda memegang uang mereka.

Ujiannya adalah definisi dari Central Bank. Fasilitas nilai tersimpan (stored value facility) adalah fasilitas di mana pelanggan membayar uang kepada penerbit sebagai imbalan atas penyimpanan nilai tersebut serta janji penerbit untuk menyediakan barang atau jasa, atau melakukan pembayaran, ketika nilai itu digunakan. Menerbitkan atau mengoperasikannya di UAE memerlukan lisensi CBUAE terlebih dahulu, kecuali untuk fasilitas satu tujuan di mana penerbit sendiri yang menyediakan barang atau jasanya. Central Bank juga dapat mengecualikan fasilitas yang hanya dapat digunakan pada penerbit itu sendiri atau pada pemasok yang terikat perjanjian dengannya. Satu jalur pengecualian hanya berlaku selama float tetap berada pada atau di bawah AED 500,000 dan jumlah pelanggan 100 atau kurang, serta mensyaratkan uji coba di sandbox CBUAE FinTech Office. Apakah kredit yang membeli penggunaan model pihak ketiga dianggap sebagai layanan penerbit sendiri merupakan pertanyaan bagi CBUAE, bukan sesuatu yang boleh diasumsikan. Penerbit berlisensi memerlukan modal disetor paling sedikit AED 15,000,000. Penerbit wajib menyimpan float, yaitu dana prabayar pelanggan, dalam rekening terpisah pada bank berlisensi, terpisah dari dana miliknya sendiri. Rancanglah produk kredit tersebut agar jawabannya disengaja, dan ajukan kepada CBUAE serta bank Anda sebelum peluncuran.

Acquirer kartu akan ingin mengetahui apakah saldo tersebut dapat dikembalikan, apakah saldo itu hanya dapat dibelanjakan untuk layanan Anda, dan apakah CBUAE telah dimintai pendapat. Panduan payment gateway dan merchant acquirer menjelaskan bagaimana prosesor menilai usaha yang menerima pembayaran kartu berulang untuk saldo digital.

Gateway hanya dapat meneruskan apa yang diizinkan oleh penyedia hulunya. Ketentuan penyedia berbeda pada empat hal yang penting bagi penjual kembali:

Dokumentasi OpenRouter tidak menjelaskan kebijakan penyimpanan data pada halaman utamanya dan mengarahkan ke halaman terpisah untuk pemrosesan data. Hal ini lazim: jawabannya ada dalam ketentuan penyedia, bukan dalam deskripsi produk. Bacalah setiap kontrak hulu dan tuliskan apa yang dapat Anda tawarkan dengan jujur. Jika satu penyedia menyimpan prompt dan penyedia lain tidak, satu kalimat untuk pelanggan yang menjanjikan "tanpa penyimpanan" adalah tidak benar.

Logika yang sama berlaku untuk uptime. Anda dapat menawarkan fallback. Anda tidak dapat menjamin bahwa setiap model tetap tersedia, karena Anda tidak mengendalikan modelnya. Rumuskan tingkat layanan di seputar platform Anda sendiri dan sebutkan ketergantungan pada pemasok.

Dekret-Undang Federal No. 45 Tahun 2021 mulai berlaku pada 2 Januari 2022. Menurut ringkasan Pemerintah UEA, undang-undang ini mencakup data pribadi yang diproses seluruhnya atau sebagian oleh sistem elektronik, baik di dalam maupun di luar UEA, pada umumnya mensyaratkan persetujuan pemilik data untuk pemrosesan, memberi individu hak untuk mengoreksi data dan membatasi atau menghentikan pemrosesan, serta menetapkan persyaratan untuk transfer dan pembagian data pribadi lintas batas. UAE Data Office, yang berafiliasi dengan Kabinet, adalah regulator data federal.

Bagi sebuah gateway, konsekuensi praktisnya adalah:

Pelanggan perusahaan di sektor yang diatur dapat menambahkan tuntutan lokalisasi mereka sendiri. Tanyakan hal ini dalam proses penjualan, bukan setelah kontrak ditandatangani.

Gateway yang hanya berupa perangkat lunak, dengan tim kecil dan pelanggan di seluruh dunia, sering kali cocok dengan perusahaan free zone yang memiliki lisensi teknologi atau lisensi komersial. Gateway yang pelanggan utamanya adalah bisnis UAE, atau yang ingin berkontrak langsung dengan pembeli yang terkait pemerintah, mungkin lebih memilih lisensi mainland. Tidak satu pun pilihan itu menghilangkan persoalan kredit: Stored Value Facilities Regulation mendefinisikan Negara sebagai UAE tidak termasuk Financial Free Zones, sehingga perusahaan free zone atau mainland biasa yang menjual kredit prabayar berada di dalam wilayah yang dicakupnya. Panduan memilih antara free zone dan mainland menguraikan pertimbangannya dari sisi lokasi pelanggan, lokasi usaha, dan visa.

Jika Anda juga menjalankan model terbuka pada infrastruktur Anda sendiri, pertanyaan operasionalnya bergeser ke arah bisnis cloud, yang dibahas dalam panduan cloud managed service provider. Jika Anda melatih atau melakukan fine-tuning model sendiri, panduan perusahaan foundation model lebih dekat dengan posisi Anda. Sebelum memilih, seorang pendiri dapat melihat cara kerja Velarozone ketika Velarozone menilai rancangan kredit, aliran data, dan entitas secara bersamaan.