Introduzione
Nel panorama sempre più vasto delle architetture AI, ci concentriamo sulle soluzioni scalabili con Azure OpenAI, esplorando le implementazioni più frequentemente adottate tra i nostri clienti. In questo articolo, esamineremo due pattern chiave che integrano Azure Front Door (AFD) e Azure API Management (APIM) per garantire bilanciamento del carico globale e una gestione avanzata delle API di Azure OpenAI.
1. Bilanciamento del Carico Globale con AOAI e Azure Front Door
Panoramica
Utilizzando Azure Front Door per il bilanciamento del carico tra regioni, siamo in grado di distribuire le richieste su più istanze di Azure OpenAI con endpoint privati vincolati a una rete virtuale (VNET). Azure Front Door, con un'intelligente sonda di salute, verifica la disponibilità e la prossimità di ciascun endpoint di Azure OpenAI.
Diagramma di Architettura
Principali Punti Salienti
- Bilanciamento del carico globale attraverso più endpoint di Azure OpenAI in regioni diverse.
- AFD offre una scalabilità migliorata utilizzando il CDN globale e WAN di Microsoft.
- Offerta di consegna unificata statica e dinamica in un singolo livello di AFD.
- Protezione avanzata contro attacchi OWASP, CVE e attacchi di bot maligni attraverso AFD WAF.
Per ulteriori dettagli, consulta .
2. Gestione Avanzata con AOAI e Azure API Management
Panoramica
Integrando Azure API Management, possiamo gestire l'accesso, l'utilizzo e la fatturazione delle API di Azure OpenAI, applicando politiche come autenticazione, caching, limitazione del tasso e trasformazione.
Diagramma di Architettura
Principali Punti Salienti
- Gestione completa dell'accesso, utilizzo e fatturazione delle API di Azure OpenAI.
- Monitoraggio delle prestazioni e della salute delle API con strumenti integrati di APIM.
- Pubblicazione delle API su un portale sviluppatore con documentazione, esempi e test interattivi.
- Creazione di API composite orchestrate su più modelli di Azure OpenAI o integrazione con altri servizi Azure ed API esterne.
a) Bilanciamento del Carico Round Robin con Logica di Ritentativo
inserire-il-codice-di-politica-quib) Autenticazione AAD da APIM ad Azure OpenAI
inserire-il-codice-di-politica-quic) Estrazione CallerID (Subject da APIM)
inserire-il-codice-di-politica-quid) Logging e Monitoraggio con APIM
Utilizzando Azure Monitor e APIM per abilitare il logging avanzato e il monitoraggio delle API di AOAI.
Per query di log di esempio, consulta la documentazione .
e) Logging Avanzato con APIM
Per logging avanzato oltre 8192 byte, consulta la documentazione .
f) Budget e Gestione dei Costi con APIM
Per gestire i budget e i costi con APIM, consulta questo blog .
3. Implementazione Multi-Regionale con AOAI, Front Door e APIM
Panoramica
In una distribuzione multi-regionale completa, combiniamo Front Door e APIM per garantire la massima disponibilità su più regioni.
Diagramma di Architettura
Implementazione
- Configura Front Door con gli URL gateway regionali di APIM come origini di backend.
- Configura gli endpoint di stato regionali di APIM.
- Applica una politica per instradare le gateway regionali alle rispettive origini di backend.
Per ulteriori dettagli, consulta la documentazione .
Conclusione
Questo articolo rappresenta un punto di partenza per implementare pattern architetturali scalabili utilizzando i modelli di Azure OpenAI insieme ad altri servizi Azure. Continueremo ad aggiornare queste implementazioni mentre esploriamo il potenziale dell'IA, guidandoti verso sistemi sempre più intelligenti ed efficienti.