tags:
- medical
ClinicalBERT
Este cartão descreve o modelo ClinicalBERT, que foi treinado em um grande conjunto de dados multicêntrico com um corpus grande de 1,2 bilhão de palavras de diversas doenças que construímos. Em seguida, utilizamos um corpus em grande escala de prontuários eletrônicos de mais de 3 milhões de registros de pacientes para ajustar finamente o modelo de linguagem base.
Dados de Pré-Treinamento
O modelo ClinicalBERT foi treinado em um grande conjunto de dados multicêntrico com um corpus grande de 1,2 bilhão de palavras de diversas doenças que construímos.
Pré-Treinamento do Modelo
Procedimentos de Pré-Treinamento
O ClinicalBERT foi inicializado a partir do BERT. Em seguida, o treinamento seguiu o princípio do modelo de linguagem mascarada, no qual, dada uma peça de texto, substituímos aleatoriamente alguns tokens por MASKs, tokens especiais para mascaramento, e depois exigimos que o modelo preveja os tokens originais por meio de texto contextual.
Hiperparâmetros de Pré-Treinamento
Utilizamos um tamanho de lote de 32, um comprimento máximo de sequência de 256 e uma taxa de aprendizado de 5e-5 para o pré-treinamento de nossos modelos.
Como usar o modelo
Carregue o modelo via biblioteca transformers:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("medicalai/ClinicalBERT")
model = AutoModel.from_pretrained("medicalai/ClinicalBERT")
Citação
Por favor, cite este artigo: Wang, G., Liu, X., Ying, Z. et al. Controle glicêmico otimizado do diabetes tipo 2 com aprendizado por reforço: um ensaio de prova de conceito. Nat Med (2023). https://doi.org/10.1038/s41591-023-02552-9