Discover and read the best of Twitter Threads about #machinlearning
Most recents (2)
We want to pretrain🤞
Instead we finetune🚮😔
Could we collaborate?🤗
ColD Fusion:
🔄Recycle finetuning to multitask
➡️evolve pretrained models forever
On 35 datasets
+2% improvement over RoBERTa
+7% in few shot settings
🧵
#NLProc #MachinLearning #NLP #ML #modelRecyclying
Instead we finetune🚮😔
Could we collaborate?🤗
ColD Fusion:
🔄Recycle finetuning to multitask
➡️evolve pretrained models forever
On 35 datasets
+2% improvement over RoBERTa
+7% in few shot settings
🧵
#NLProc #MachinLearning #NLP #ML #modelRecyclying
We all wish to improve pretraining
If only we had unlimited compute and data...
Together we have!
We propose a way to recycle finetuning
and transform it into multitask learning!
arxiv.org/abs/2212.01378
@Shachar_Don @VenezianElad @colinraffel @noamslonim @YoavKatz73 me
If only we had unlimited compute and data...
Together we have!
We propose a way to recycle finetuning
and transform it into multitask learning!
arxiv.org/abs/2212.01378
@Shachar_Don @VenezianElad @colinraffel @noamslonim @YoavKatz73 me
How to perform multitasking, by simply uploading models?
Collaborative Descent (ColD) Fusion is simple:
Start from a pretrained model
Let contributors finetune on it, and share their models
Fuse the models to get a new better model
Take the improved model as the new best model
Collaborative Descent (ColD) Fusion is simple:
Start from a pretrained model
Let contributors finetune on it, and share their models
Fuse the models to get a new better model
Take the improved model as the new best model
#covidlong une étude 🇬🇧 sur 156 patients via un process de #machinlearning (#IA) a mis en exergue des taux anormaux dans le plasma sanguin de 20 protéines intervenant majoritairement dans les processus anticoagulants et anti-inflammatoires.
D'où l'idée
1/
topsante.com/medecine/malad…
D'où l'idée
1/
topsante.com/medecine/malad…
d'un test prédictif.
A ce stade et alors que les mesures de #prévention sont si minimalistes du fait qu'elles reposent sur les bonnes volontés individuelles, savoir dès la primo infection qu'on va développer des #séquelles alors qu'aucun traitement n'existe encore c'est certes
2/
A ce stade et alors que les mesures de #prévention sont si minimalistes du fait qu'elles reposent sur les bonnes volontés individuelles, savoir dès la primo infection qu'on va développer des #séquelles alors qu'aucun traitement n'existe encore c'est certes
2/
