📝 : Update and restructuring README.md
This commit is contained in:
+5
-3
@@ -445,7 +445,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 35,
|
||||
"execution_count": null,
|
||||
"id": "2f38c125",
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
@@ -540,8 +540,7 @@
|
||||
"\n",
|
||||
" return \" \".join(sorted_tokens)\n",
|
||||
"\n",
|
||||
"# Charger un modèle CamemBERT léger, spécialisé dans la création d'embeddings\n",
|
||||
"embedding_model = SentenceTransformer('dangvantuan/sentence-camembert-base')\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"# Fonction pour créer les embeddings par lots (pour optimiser l'usage de la RAM)\n",
|
||||
"def create_embeddings(texts, selection_method=\"start_tokens\", batch_size=32):\n",
|
||||
@@ -557,6 +556,9 @@
|
||||
" normalize_embeddings=True\n",
|
||||
" )\n",
|
||||
"\n",
|
||||
"# Charger un modèle CamemBERT léger, spécialisé dans la création d'embeddings\n",
|
||||
"embedding_model = SentenceTransformer('dangvantuan/sentence-camembert-base')\n",
|
||||
"\n",
|
||||
"# Recréer les listes de textes car elles ont été supprimées\n",
|
||||
"# Assurez-vous que les variables `train_dataset` et `test_dataset` sont bien définies en exécutant les cellules précédentes.\n",
|
||||
"train_texts = [ex['text'] for ex in train_dataset]\n",
|
||||
|
||||
Reference in New Issue
Block a user