📝 : Update and restructuring README.md

This commit is contained in:
2025-10-28 20:38:07 +01:00
parent 3f5639ac4d
commit 098c5e3738
2 changed files with 132 additions and 146 deletions
+5 -3
View File
@@ -445,7 +445,7 @@
},
{
"cell_type": "code",
"execution_count": 35,
"execution_count": null,
"id": "2f38c125",
"metadata": {},
"outputs": [
@@ -540,8 +540,7 @@
"\n",
" return \" \".join(sorted_tokens)\n",
"\n",
"# Charger un modèle CamemBERT léger, spécialisé dans la création d'embeddings\n",
"embedding_model = SentenceTransformer('dangvantuan/sentence-camembert-base')\n",
"\n",
"\n",
"# Fonction pour créer les embeddings par lots (pour optimiser l'usage de la RAM)\n",
"def create_embeddings(texts, selection_method=\"start_tokens\", batch_size=32):\n",
@@ -557,6 +556,9 @@
" normalize_embeddings=True\n",
" )\n",
"\n",
"# Charger un modèle CamemBERT léger, spécialisé dans la création d'embeddings\n",
"embedding_model = SentenceTransformer('dangvantuan/sentence-camembert-base')\n",
"\n",
"# Recréer les listes de textes car elles ont été supprimées\n",
"# Assurez-vous que les variables `train_dataset` et `test_dataset` sont bien définies en exécutant les cellules précédentes.\n",
"train_texts = [ex['text'] for ex in train_dataset]\n",