Getting Started with Google BERT : Construire et former des modèles de traitement du langage naturel de pointe à l'aide de BERT

Avis des lecteurs

Résumé:

Ce livre constitue une introduction complète au BERT et à son architecture de transformateur sous-jacente, offrant un équilibre entre les explications théoriques et les exemples de codage pratiques. Il est particulièrement bien adapté à ceux qui ont une compréhension de base de la PNL et de l'apprentissage profond, détaillant diverses variantes et applications de BERT. Cependant, certains lecteurs ont critiqué le livre pour son langage redondant, le traitement superficiel de sujets complexes et des problèmes de qualité d'impression.

Avantages:

⬤ Exposé clair et succinct de l'architecture des BERT et des transformateurs
⬤ combine la théorie avec des applications pratiques et des exemples de codage
⬤ accessible aux lecteurs sans doctorat
⬤ des laboratoires pratiques et des ressources GitHub améliorent l'expérience d'apprentissage
⬤ discussions sur de multiples variantes de BERT et cas d'utilisation.

Inconvénients:

⬤ Langage redondant et répétitions dans les explications
⬤ couverture superficielle de sujets complexes
⬤ problèmes de qualité d'impression
⬤ plusieurs lecteurs ont signalé des erreurs dans le code
⬤ certains ont trouvé que le contenu était trop basique ou manquait de profondeur pour les praticiens avancés.

(basé sur 38 avis de lecteurs)

Titre original :

Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT

Contenu du livre :

Démarrez votre parcours PNL en explorant BERT et ses variantes telles que ALBERT, RoBERTa, DistilBERT, VideoBERT, et plus encore avec la bibliothèque de transformateurs de Hugging Face.

Caractéristiques principales

⬤ Explorer le codeur et le décodeur du modèle de transformateur.

⬤ Apprenez à bien connaître BERT ainsi qu'ALBERT, RoBERTa et DistilBERT.

⬤ Découvrez comment pré-entraîner et affiner les modèles BERT pour plusieurs tâches de NLP.

Description du livre.

BERT (bidirectional encoder representations from transformer) a révolutionné le monde du traitement du langage naturel (NLP) avec des résultats prometteurs. Ce livre est un guide d'introduction qui vous aidera à vous familiariser avec l'architecture BERT de Google. Avec une explication détaillée de l'architecture du transformateur, ce livre vous aidera à comprendre le fonctionnement de l'encodeur et du décodeur du transformateur.

Vous explorerez l'architecture de BERT en apprenant comment le modèle BERT est pré-entraîné et comment utiliser BERT pré-entraîné pour des tâches en aval en l'affinant pour des tâches de TAL telles que l'analyse de sentiments et le résumé de texte avec la bibliothèque de transformateurs Hugging Face. Au fur et à mesure de votre progression, vous découvrirez différentes variantes de BERT telles que ALBERT, RoBERTa et ELECTRA, et vous vous pencherez sur SpanBERT, qui est utilisé pour des tâches de TAL telles que la réponse à des questions. Vous découvrirez également des variantes de BERT plus simples et plus rapides, basées sur la distillation des connaissances, telles que DistilBERT et TinyBERT. Le livre vous présente MBERT, XLM et XLM-R en détail, puis vous introduit à sentence-BERT, qui est utilisé pour obtenir une représentation de la phrase. Enfin, vous découvrirez des modèles d'ORET spécifiques à un domaine, tels que BioBERT et ClinicalBERT, ainsi qu'une variante intéressante appelée VideoBERT.

À la fin de ce livre sur l'ORET, vous serez rompu à l'utilisation de l'ORET et de ses variantes pour effectuer des tâches pratiques de TAL.

Ce que vous apprendrez

⬤ Comprendre le modèle de transformateur à partir de la base.

⬤ Découvrir le fonctionnement de BERT et le pré-entraîner à l'aide d'un modèle de langage masqué (MLM) et de tâches de prédiction de la phrase suivante (NSP).

⬤ Apprenez à utiliser l'outil BERT en vous familiarisant avec la génération d'enchâssements contextuels de mots et de phrases.

⬤ Affiner BERT pour les tâches en aval.

⬤ Apprendre à maîtriser les modèles ALBERT, RoBERTa, ELECTRA et SpanBERT.

⬤ Comprendre les modèles BERT basés sur la distillation des connaissances.

⬤ Comprendre les modèles interlinguistiques tels que XLM et XLM-R.

⬤ Explorer les modèles Sentence-BERT, VideoBERT et BART.

A qui s'adresse ce livre ?

Ce livre s'adresse aux professionnels du TAL et aux scientifiques des données qui cherchent à simplifier les tâches du TAL pour permettre une compréhension efficace du langage à l'aide de BERT. Une compréhension de base des concepts du TAL et de l'apprentissage profond est nécessaire pour tirer le meilleur parti de ce livre.

Autres informations sur le livre :

• ISBN : 9781838821593
• Auteur : Sudharsan Ravichandiran
• Éditeur : Packt Pub
• Reliure : Broché