572 ViewsMasked Language Modeling (MLM) adalah sebuah teknik dalam pemrosesan bahasa alami (Natural Language Processing/NLP) di mana beberapa kata atau token dalam sebuah kalimat diubah menjadi token khusus yang disebut “mask”. Kemudian, model dilatih untuk memprediksi kata-kata asli yang tersembunyi berdasarkan konteks yang diberikan oleh kata-kata sekitarnya. Teknik ini umumnya terkait dengan model berbasis transformer… Read More »
519 Viewserror ketika training di huggingface melakukan sesi training, berikut kode yang digunakan from transformers import Trainer, TrainingArguments training_args = TrainingArguments( output_dir=’modelv3′, overwrite_output_dir=True, num_train_epochs=1, #per_gpu_train_batch_size=96, save_steps=1, save_total_limit=2, push_to_hub=False, hub_private_repo = True, #use_mps_device = True #fp16=True, ) trainer = Trainer( model=model, args=training_args, data_collator=data_collator, #use_seedable_sampler= False, train_dataset=dataset) #prediction_loss_only=True,) trainer.train() terjadi error ketika mengubah nama folder yaitu PermissionError:… Read More »
514 ViewsGoogle pertama kali memperkenalkan model transformer pada tahun 2017. Pada saat itu, model bahasa utamanya menggunakan jaringan saraf rekuren (RNN) dan jaringan saraf konvolusional (CNN) untuk menangani tugas pemrosesan bahasa alami (NLP). CNN dan RNN merupakan model yang kompeten, namun, mereka memerlukan urutan data yang tetap untuk diproses. Model transformer dianggap sebagai perbaikan yang… Read More »