Besoin d’un modèle de langage étendu (LLM) embarqué ? Advantech a ajouté à son SDK Edge AI l’outil GenAI Studio, un logiciel ciblant notamment les PME qui souhaitent créer, évaluer et intégrer un LLM, géré en local ou sur le cloud (OpenAI, Gemini, Anthropic, Ollama…) par une plateforme sans code, simple et économique. GenAI Studio comprend des services intégrés de réglage fin et d’inférence et permet d’optimiser les ressources GPU et la planification des tâches. Advantech assure par exemple que « le réglage fin d’un LLM à 70 milliards de paramètres, nécessitant habituellement plus de 30 GPU de 48Go chacun, peut être réalisé avec seulement 4 GPU grâce au SDK Edge AI ». En local, cet outil peut être couplé au serveur Edge AI AIR-520 d’Advantech.
Advantech veut faciliter le développement de LLM en local
© Advantech