Acheminer le trafic de l'assistant AI local via une passerelle auto-hébergée
Dirigez le trafic de l'assistant AI local via une passerelle centralisée et auto-hébergée qui applique une compression d'appel en temps réel et une optimisation du contexte pour réduire les dépenses d'inférence. Anyray Connect, de Othentic Labs Ltd, est livré sous forme d'exécutable Windows signé pour les équipes d'ingénierie et DevOps. Il expose une API compatible avec OpenAI, offre une attribution des dépenses par équipe et projet, et inclut un délai d'expiration de type fail-open afin que les flux de travail des développeurs continuent de fonctionner. L'outil convient aux équipes qui exécutent des LLM à grande échelle et nécessitent une gouvernance sur site.
Que fait réellement Anyray Connect pour le trafic LLM des développeurs ?
Anyray Connect redirige les demandes des outils AI locaux via une passerelle interne, réécrivant les points de terminaison afin que les assistants et SDK utilisent l'optimiseur sans modifications de code. L'exécutable côté client configure automatiquement les outils compatibles pour pointer vers la passerelle, et la passerelle applique des transformations déterministes basées sur des règles pour la compression et le découpage de contexte. La configuration cible des environnements où le contenu des invites doit rester à l'intérieur de l'infrastructure de l'entreprise, et elle expose une API compatible avec OpenAI afin que les intégrations existantes continuent de fonctionner.
Cela affecte-t-il les flux de travail ou nécessite-t-il des changements d'ingénierie ?
L'outil fonctionne comme un remplacement direct pour les points de terminaison LLM existants, donc les équipes n'ont pas besoin de modifier le code des assistants ou les appels SDK. De plus, le client utilise un mécanisme de fail-open avec un délai d'attente de 800 à 1200 millisecondes qui transfère les demandes sans changement si l'optimiseur est lent, ce qui préserve la productivité des développeurs. La configuration se fait au niveau du client et de la passerelle, et les installateurs sont distribués sous la forme d'un seul exécutable Windows signé ou via le gestionnaire de paquets Windows.
Est-il sûr de fonctionner dans un environnement d'entreprise ?
La sécurité est intégrée dans l'architecture auto-hébergée ; la passerelle et l'optimiseur fonctionnent à l'intérieur de votre infrastructure (par exemple, Docker ou Kubernetes), et le contenu des invites/réponses reste sur place. De plus, l'optimiseur utilise des transformations déterministes pour maintenir des sorties stables, et le mesurage envoie uniquement des métadonnées sans contenu pour l'attribution des dépenses. Ces choix de conception limitent l'exposition externe tout en fournissant des rapports d'utilisation par équipe et par projet.
Un outil ciblé pour les équipes d'ingénierie qui gèrent déjà une infrastructure auto-hébergée
Anyray Connect convient aux équipes d'ingénierie et DevOps qui ont besoin d'une gouvernance granulaire du trafic LLM et qui exploitent déjà des services conteneurisés ou sur site. Il préserve les intégrations existantes en exposant une API standard et garde les invites sensibles à l'intérieur du réseau. Le principal compromis est l'exigence opérationnelle : les équipes doivent héberger et maintenir l'infrastructure de passerelle pour bénéficier des fonctionnalités d'optimisation et d'attribution.
