Créer un chat gpt en local

Comme beaucoup, j’ai entendu parlé du phénomène Chat GPT et du leak du fichier de conf Facebook de leur modèle de langage. J’ai donc voulu testé tout ça par moi même. Voyons ensemble comme mettre ces outils en place.

Installer les modèles Llama et Alpaca:

Le repo à utiliser est celui-ci: https://github.com/cocktailpeanut/dalai
Il vous faut npm et nodejs en dernière version
Il faut ensuite installer les modèles via les lignes suivantes (perso, j’ai pris les moins imposants en terme de place):
npx dalai alpaca install 7B
npx dalai llama install 7B
Enfin, il faut lancer l’interface web:
npx dalai serve

Vous pouvez sélectionner votre modèle en haut à droite et poser votre question sous le mot clé PROMPT. C’est pas aussi propre que Chat gpt, mais ca fait le job.

Compatibilité dans d’autres langues:

Pour le moment, seul l’anglais est supporté. A ma connaissance, il n’y a pas encore de système de traductions comme on peut en trouver dans l’outil d’ia qui gère la transcription audio (whisper) sorti récemment.

Validité des réponses:

Aux questions concernant la liste des derniers présidents français:
Alpaca m’a répondu une liste eronné avec des Jacques Chirico au lieu de Jacques Chirac, des présidents qui ne font que 4 ans au lieu de 5 et aussi que Jean Marie Lepen a été élu n 1986 !
LLama lui m’a donné la liste des présidents des USA.

Pour les recettes:
Alpaca me donne une recette correcte pour le Tiramisu
LLama me dit d’aller voir un lien qu’il ne me donne pas

Pour le code:
Pour l’écriture d’un plugin de type helloworld pour wordpress en PHP,
Alpaca m’a écrit quelque chose d’utilisable (tout du moins en rapport)
Llama s’est carrément planté en m’affichant un « You must change $wordpress to your current version number ».

Conclusion:

Pour le moment, Chat GPT est clairement meilleur que les outils locaux qu’on peut trouver.
Il faudrait que je teste avec la version la plus imposante des modèles, mais pour cela il faudra que je trouve 250 Go de disponible. Néanmoins, c ‘est assez prometteur de se dire qu’en l’espace de quelques semaines, certains développeurs ont réussi à aussi bien s’en approcher sans nécessiter autant de ressources serveur.


Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.