OpenRouter và Multi-Model AI Gateways: Cấu trúc một nền tảng định tuyến AI tại UAE

Tài liệu của OpenRouter mô tả sản phẩm một cách thẳng thắn. Một điểm cuối duy nhất, `/api/v1/chat/completions`, cho phép truy cập hàng trăm mô hình. Có thể dùng nó từ OpenAI SDK như một giải pháp thay thế trực tiếp. Yêu cầu được định tuyến tới lựa chọn tiết kiệm chi phí nhất, và cơ chế dự phòng diễn ra tự động. Khách hàng Business và Enterprise có thể dùng một điểm cuối riêng ở khu vực EU với các mô hình đủ điều kiện của EU.

Với một nhà sáng lập tại UAE, ba trong số các tính năng đó chuyển thành nghĩa vụ. Định tuyến nghĩa là quý vị chọn nhà cung cấp nào nhìn thấy lời nhắc của khách hàng, nên quý vị quyết định dữ liệu cá nhân đi đến đâu. Cơ chế dự phòng nghĩa là lời nhắc gửi tới một nhà cung cấp có thể được gửi lại cho nhà cung cấp khác khi nhà cung cấp đầu tiên thất bại, vì vậy phần mô tả luồng dữ liệu của quý vị phải bao gồm cả đường dự phòng chứ không chỉ lựa chọn đầu tiên. Điểm cuối theo khu vực cho thấy điều các khách hàng lớn sẽ yêu cầu: một cách giữ lưu lượng trong một phạm vi địa lý đã nêu.

Một cổng AI cam kết với khách hàng rằng "câu lệnh của quý vị không bao giờ rời khỏi khu vực X" phải chứng minh được điều đó cả với đường dẫn dự phòng. Điều đó có nghĩa là cần một bản đồ dữ liệu liệt kê mọi nhà cung cấp và khu vực mà một câu lệnh có thể đến, được cập nhật đồng bộ với hợp đồng đã ký với từng bên.

Phần mềm thu phí hằng tháng thì đơn giản. Cổng bán trước lượng sử dụng mô hình thì không, vì khách hàng trả cho quý vị trước còn quý vị trả cho các nhà cung cấp sau. Trong khoảng chênh đó, quý vị nắm giữ tiền của họ.

Tiêu chí kiểm tra là định nghĩa của Ngân hàng Trung ương. Cơ sở giá trị lưu trữ là cơ sở mà khách hàng trả tiền cho một tổ chức phát hành để đổi lấy việc lưu trữ giá trị đó cùng cam kết rằng tổ chức phát hành sẽ cung cấp hàng hóa hoặc dịch vụ, hoặc thực hiện thanh toán, khi giá trị được sử dụng. Việc phát hành hoặc vận hành một cơ sở như vậy tại UAE cần có giấy phép trước của CBUAE, trừ trường hợp cơ sở chỉ phục vụ một mục đích duy nhất mà chính tổ chức phát hành cung cấp hàng hóa hoặc dịch vụ. Ngân hàng Trung ương cũng có thể miễn trừ cho các cơ sở chỉ sử dụng được với tổ chức phát hành hoặc với các nhà cung cấp có thỏa thuận với tổ chức này. Một lộ trình miễn trừ chỉ áp dụng khi khoản float không vượt quá AED 500,000 và số lượng khách hàng không quá 100, đồng thời yêu cầu thử nghiệm trong môi trường sandbox của CBUAE FinTech Office. Việc tín dụng dùng để mua lượng sử dụng mô hình của bên thứ ba có được coi là dịch vụ của chính tổ chức phát hành hay không là câu hỏi dành cho CBUAE, không nên mặc định. Tổ chức phát hành được cấp phép cần có vốn đã góp tối thiểu AED 15,000,000. Tổ chức này phải giữ khoản float, tức là tiền trả trước của khách hàng, trong các tài khoản tách biệt tại các ngân hàng được cấp phép, tách khỏi nguồn vốn của chính mình. Hãy thiết kế sản phẩm tín dụng sao cho câu trả lời là có chủ đích, và đưa vấn đề đến CBUAE cùng ngân hàng của quý vị trước khi ra mắt.

Một đơn vị thanh toán thẻ (card acquirer) sẽ muốn biết số dư có được hoàn lại hay không, có thể chỉ được chi tiêu cho dịch vụ của bạn hay không và CBUAE đã được tham vấn hay chưa. Hướng dẫn về cổng thanh toán và merchant acquirer giải thích cách một đơn vị xử lý thanh toán xem xét một doanh nghiệp thu tiền thẻ định kỳ cho một số dư kỹ thuật số.

Một cổng chỉ có thể chuyển tiếp những gì các nhà cung cấp thượng nguồn cho phép. Điều khoản của nhà cung cấp khác nhau ở bốn điểm quan trọng đối với đơn vị bán lại:

Tài liệu của OpenRouter không mô tả chính sách lưu giữ dữ liệu trên trang chính và dẫn tới các trang riêng về xử lý dữ liệu. Điều này là điển hình: câu trả lời nằm trong điều khoản của nhà cung cấp chứ không nằm trong mô tả sản phẩm. Hãy đọc từng hợp đồng thượng nguồn và ghi lại những gì quý vị có thể trung thực cung cấp. Nếu một nhà cung cấp lưu giữ lời nhắc còn một nhà khác thì không, thì một câu duy nhất hướng tới khách hàng cam kết "không lưu giữ" là sai sự thật.

Logic tương tự áp dụng cho thời gian hoạt động. Quý vị có thể cung cấp cơ chế dự phòng. Quý vị không thể bảo đảm mọi mô hình luôn sẵn sàng, vì quý vị không kiểm soát các mô hình. Hãy diễn đạt mức dịch vụ xoay quanh nền tảng của chính quý vị và nêu rõ sự phụ thuộc vào nhà cung cấp.

Sắc lệnh-Luật Liên bang số 45 năm 2021 có hiệu lực từ ngày 2 tháng 1 năm 2022. Theo bản tóm tắt của Chính phủ UAE, luật bao quát dữ liệu cá nhân được xử lý toàn bộ hoặc một phần bằng hệ thống điện tử, dù trong hay ngoài UAE; nhìn chung yêu cầu sự đồng ý của chủ sở hữu dữ liệu để xử lý; trao cho cá nhân quyền chỉnh sửa dữ liệu và hạn chế hoặc ngừng xử lý; và đặt ra các yêu cầu đối với việc chuyển giao và chia sẻ dữ liệu cá nhân xuyên biên giới. UAE Data Office, trực thuộc Nội các, là cơ quan quản lý dữ liệu liên bang.

Đối với một cổng, hệ quả thực tế là:

Khách hàng doanh nghiệp trong các lĩnh vực được quản lý có thể bổ sung thêm yêu cầu nội địa hóa của riêng họ. Hãy hỏi về những yêu cầu này trong quá trình bán hàng, không phải sau khi hợp đồng đã được ký.

Một cổng AI chỉ cung cấp phần mềm, với đội ngũ nhỏ và khách hàng khắp thế giới, thường phù hợp với một công ty free zone có giấy phép công nghệ hoặc giấy phép thương mại. Một cổng AI có khách hàng chính là doanh nghiệp UAE, hoặc muốn ký hợp đồng trực tiếp với các bên mua có liên hệ với chính phủ, có thể ưu tiên giấy phép mainland. Cả hai lựa chọn đều không loại bỏ vấn đề tín dụng: Quy định về Cơ sở Giá trị Lưu trữ định nghĩa Nhà nước là UAE trừ các Financial Free Zones, nên một công ty free zone hoặc mainland thông thường bán tín dụng trả trước nằm trong phạm vi quy định này. Hướng dẫn lựa chọn giữa free zone và mainland trình bày những được và mất liên quan đến địa điểm khách hàng, trụ sở và thị thực.

Nếu quý vị cũng lưu trữ các mô hình mở trên hạ tầng của chính mình, các vấn đề vận hành sẽ chuyển dần sang hoạt động kinh doanh đám mây, được trình bày trong hướng dẫn về nhà cung cấp dịch vụ quản lý đám mây. Nếu quý vị tự huấn luyện hoặc tinh chỉnh mô hình, hướng dẫn về công ty mô hình nền tảng sát với vị thế của quý vị hơn. Trước khi lựa chọn, nhà sáng lập có thể xem cách Velarozone vận hành khi đánh giá đồng thời thiết kế tín dụng, luồng dữ liệu và pháp nhân.