Citations de la base de connaissances, versionnage des agents et perspectives sur la plateforme GenAI
La plateforme GenAI est un outil puissant pour servir et déployer des agents LLM à grande échelle sur le Cloud Linux-Console.net. Grâce à cette plateforme, il est facile de donner à certains des LLM les plus puissants comme Llama 3.3, GPT-4o et Claude Sonnet 3.7 l'accès à toutes les informations dont vous avez besoin en utilisant le RAG avec des fichiers stockés sur le stockage Spaces de Linux-Console.net comme base de connaissances.
Lors de l'utilisation d'applications agencées dans une grande variété de contextes, il existe une multitude de caractéristiques méta différentes qui sont cruciales à identifier et à contrôler. Récemment, plusieurs fonctionnalités ont été mises en ligne sur la plateforme GenAI pour aider à contrôler et interagir avec ces aspects des modèles. À savoir, il s'agit des citations de bases de connaissances (KB), de la version des agents et des insights des agents. Dans cet article, nous examinons chacune de ces nouvelles fonctionnalités en profondeur et discutons de la manière dont elles peuvent vous aider à faire évoluer encore davantage votre flux de travail en IA.
Les nouvelles fonctionnalités de la plateforme GenAI
La plateforme GenAI de Linux-Console.net est notre incursion dans la création d'un service en direct où les utilisateurs peuvent accéder, créer et modifier des agents IA alimentés par LLM sur le cloud. Avec GenAI, il est possible de créer n'importe quoi, des agents puissants pour votre entreprise à l'automatisation de flux de travail pour des tâches répétitives, en passant par de simples chatbots pour n'importe quel cas d'utilisation. Avec GenAI, il est simple de créer des agents qui travaillent avec vos propres données et peuvent exécuter des fonctions autonomes pour votre service.
Dans cette section, examinons chacun des nouvelles fonctionnalités de la plateforme GenAI un peu plus en détail.
Citations de la base de connaissances
La nouvelle fonctionnalité la plus excitante qui sera publiée pour les développeurs intéressés par la construction d'une compréhension plus approfondie de leurs agents est celle des citations KB. Celles-ci nous donnent des directives claires à suivre lorsque nous voulons mieux comprendre comment le modèle génère la réponse donnée. Cela se fait en retraçant quels documents sont consultés avec la génération augmentée par récupération (RAG) pour trouver le résultat. Grâce à cela, les utilisateurs peuvent voir exactement comment et pourquoi une certaine réponse est donnée, et remonter jusqu'à la ressource utilisée pour fournir la réponse. En plus de rendre l'inférence plus précise et personnalisée à un corpus de données requis, cela fonctionne également comme une méthodologie de recherche utile pour votre travail.
Pour voir les citations de la base de connaissances dans vos propres résultats de la plateforme GenAI, nous pouvons utiliser le terrain de jeu pour chaque modèle. Allez sur la page d'accueil de votre Agent dans la section GenAI de la console cloud Linux-Console.net, et cliquez sur votre Agent. Ensuite, générez un résultat dans le terrain de jeu. Nous pouvons utiliser le lien sous le résultat pour voir nos citations puis accéder aux fichiers dans la base de connaissances.
Versionnage des agents
La prochaine fonctionnalité que nous voulons aborder est la gestion des versions des agents, une sous-pratique de la gestion des versions des LLM-ops. La gestion des versions des agents consiste essentiellement à créer des copies sauvegardables de chaque itération du développement d’un agent. En utilisant cet état sauvegardé, il est simple d’avancer ou de revenir en arrière à travers les mises à jour. Cela est particulièrement important avec de grands ensembles d’agents opérant en tandem, où un petit changement peut potentiellement perturber l’ensemble du dispositif. En annulant les mises à jour, nous pouvons nous assurer que nos agents fonctionnent toujours comme prévu pendant le développement sans affecter la production.
Pour accéder à la gestion des versions d’Agent, cliquez sur l’onglet Activité sur la page d’accueil de votre Agent dans l’onglet GenAI de la Console Cloud. Là, nous pouvons voir toutes les versions précédentes de nos Agents si nous en avons besoin.
Aperçus de l'agent
Enfin, nous voulons présenter Agent Insights. Il s'agit de l'une des fonctionnalités les plus importantes pour la production avec tout agent alimenté par un LLM car elle nous donne la possibilité de déterminer directement le volume, en tokens, pour lequel notre modèle est appelé à tout moment. Cela est crucial pour mesurer les coûts à grande échelle.
Pour voir les informations sur les agents, il suffit de faire défiler vers le bas dans la vue d'ensemble sur la page d'accueil de l'agent. À gauche, nous pouvons trouver un graphique indiquant notre génération de jetons sur différentes échelles de temps. À droite, nous pouvons voir des métriques avancées de jetons comme le débit moyen de bout en bout et la latence moyenne de bout en bout.
Mettre à profit les nouvelles fonctionnalités de la plateforme GenAI
Pour profiter de ces nouvelles fonctionnalités, nous devons mettre en place un agent ou une série d'agents sur la plateforme GenAI. Pour ce tutoriel, nous avons utilisé le corpus de ce blog comme matériel de base de connaissances. D'autres exemples de contenus pouvant être utilisés incluent les états financiers, les notes et autres enregistrements. Nous recommandons de sourcing vos données de manière privée, ou de tester en utilisant un ensemble de données ou des fichiers publics comme ceux trouvés sur Kaggle ou HuggingFace Datasets.
Avec la puissance de la plateforme GenAI, nous pouvons créer un agent IA alimenté par LLM qui peut répondre à nos données en utilisant RAG. Avec la mise en œuvre de nos nouvelles fonctionnalités, nous pouvons offrir à nos utilisateurs des informations sur la provenance de leurs réponses en utilisant les citations de la base de connaissances, déployer différentes versions de nos agents à différents stades de développement ou les revenir en arrière lorsqu'il y a des problèmes, et nous pouvons obtenir des informations directes sur la performance de nos modèles en termes de coût et d'efficacité.
Pensées de clôture
Les nouvelles fonctionnalités offertes sur la plateforme GenAI commencent à mettre la plateforme au niveau de la concurrence en termes de méta-capacités et d'informations, tout en maintenant l'intégration de l'écosystème Linux-Console.net qui la rendait si puissante dès le départ. Avec tous les meilleurs modèles d'OpenAI et d'Anthropic désormais disponibles sur la plateforme, Linux-Console.net est maintenant l'un des endroits les plus faciles pour créer des solutions RAG efficaces pour vos charges de travail à grande échelle.
Merci d'apprendre avec la communauté Linux-Console.net.