DocsModèles

Importer un fichier GGUF

Tu as déjà un fichier GGUF sur le téléphone. tensai peut l'utiliser tel quel.

Importer un fichier

Ouvre Modèles, puis Ajouter un modèle, puis Depuis ce téléphone : Importer un fichier GGUF. Au premier lancement, le même bouton est sous le modèle recommandé.
Choisis le fichier.
Attends la copie. L'écran indique la part du fichier déjà copiée.

tensai copie le fichier dans son propre stockage : l'original reste où il était, et il faut de la place pour une seconde copie. Il lit ensuite les détails du modèle (architecture, paramètres, quantification, longueur de contexte) et l'ajoute à Modèles, Sur l'appareil, avec son verdict.

L'écran Modèles avec la feuille Ajouter un modèle : Depuis Hugging Face, Rechercher et télécharger, et Depuis ce téléphone, Importer un fichier GGUF — Ajouter un modèle : depuis ce téléphone, ou depuis Hugging Face.

Quand ça ne marche pas

Un import raté ne garde rien. La carte dit L'import n'a pas abouti, avec l'une de ces raisons :

Le fichier est déjà dans tes modèles.
Le fichier demande plus de place que ce qui est libre : la carte donne les deux tailles, et tu peux retirer un modèle puis réessayer.
Le fichier n'est pas un fichier de modèle GGUF, ou la copie est abîmée.
La copie s'est arrêtée avant la fin, et rien n'a été gardé.

Un modèle peut aussi échouer plus tard, au chargement : Non pris en charge veut dire que cette version du moteur ne connaît pas encore l'architecture. Voir le test d'adéquation.

Modèle de chat

Un modèle a besoin de son modèle de chat pour savoir où un message commence et finit. Par défaut tensai utilise celui stocké dans le fichier, ou en devine un d'après le nom du modèle quand le fichier n'en a pas.

Si la devinette est fausse, règle-le à la main dans les détails du modèle : ChatML, Mistral, Llama 3, Gemma ou Phi-3. Changer le modèle de chat efface les sessions sauvegardées de ce modèle et s'applique au prochain chargement.

La boîte Modèle de chat : Auto, ChatML, Mistral, Llama 3, Gemma et Phi-3 — Modèle de chat. Auto, c'est le modèle du fichier, ou une déduction depuis le nom du modèle.

Les outils ne sont proposés qu'aux modèles dont le modèle de chat les gère. Voir Outils et permissions.

Réimporter et supprimer

Si le fichier disparaît, la page du modèle le dit et propose Réimporter. Supprimer le modèle retire le fichier de ton téléphone, et c'est définitif. Un modèle chargé ne peut pas être supprimé : décharge-le d'abord.

Pas encore de fichier ? Télécharges-en un depuis Hugging Face.