drguilhermeapolinario/llama3.18b_gtell_psiq

Model Card for Model ID Este modelo foi criado para gerar textos relacionados à área de saúde mental, especificamente psiquiatria. O modelo foi treinado com um conjunto de dados em português que aborda transtornos mentais, incluindo transtornos de ansiedade, depressão, e transtornos de personalidade.

Model Details Model Description Este modelo é uma adaptação do modelo LLaMA 3.18B focado na geração de textos médicos relacionados à psiquiatria. Ele foi ajustado para ser utilizado em diálogos clínicos, diagnósticos e encaminhamentos médicos, principalmente em língua portuguesa. Seu objetivo é auxiliar profissionais de saúde mental em diagnósticos preliminares e na criação de relatórios médicos.

Developed by: Dr. Guilherme Apolinário Funded by [optional]: N/A Shared by [optional]: Dr. Guilherme Apolinário Model type: LLaMA 3.18B (Text Generation) Language(s) (NLP): Português License: Apache 2.0 Finetuned from model [optional]: LLaMA 3.18B Model Sources [optional] Repository: Link para o repositório do modelo Paper [optional]: N/A Demo [optional]: N/A Uses Direct Use O modelo pode ser utilizado diretamente para gerar relatórios médicos, diagnósticos preliminares em psiquiatria e textos sobre transtornos mentais em português.

Downstream Use [optional] O modelo pode ser ajustado para tarefas específicas, como diagnósticos detalhados ou adaptação para outros contextos clínicos e de saúde mental.

Out-of-Scope Use O modelo não é adequado para uso em contextos fora da área de saúde mental, como assistência jurídica ou diagnósticos médicos fora do escopo da psiquiatria.

Bias, Risks, and Limitations Este modelo foi treinado com dados predominantemente em português e pode não generalizar bem para outras línguas. Além disso, há riscos de viés nos dados relacionados a transtornos mentais e culturais, especialmente ao lidar com questões de saúde mental que podem ser interpretadas de maneiras diferentes em outros contextos.

Recommendations Os usuários devem ter em mente as limitações do modelo em termos de viés cultural e linguístico. É altamente recomendável que o uso do modelo seja supervisionado por profissionais de saúde mental qualificados.

How to Get Started with the Model Use o código abaixo para iniciar o uso do modelo:

from transformers import AutoTokenizer
from adapters import AutoAdapterModel

# Carregar o modelo e o tokenizador
model = AutoAdapterModel.from_pretrained("drguilhermeapolinario/llama3.18b_gtell_psiq")
tokenizer = AutoTokenizer.from_pretrained("drguilhermeapolinario/llama3.18b_gtell_psiq")

# Texto de entrada para o modelo
input_text = "Insira aqui o seu texto de teste."

# Tokenizar o texto de entrada
inputs = tokenizer(input_text, return_tensors="pt")

# Gerar uma resposta usando o modelo
outputs = model.generate(**inputs)

# Decodificar e exibir a resposta gerada
output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print("Texto gerado:", output_text)

Training Details Training Data O modelo foi treinado utilizando um conjunto de dados contendo textos em português sobre transtornos mentais, incluindo depressão, transtornos de ansiedade, esquizofrenia, transtornos de personalidade e transtorno bipolar. Os dados foram coletados de fontes especializadas em saúde mental.

Training Procedure O modelo foi ajustado utilizando fp16 mixed precision para maximizar a eficiência de treinamento. A base do modelo é o LLaMA 3.18B, com ajustes feitos para adaptação a textos médicos e clínicos.

Preprocessing [optional] Os dados foram pré-processados para remover inconsistências e garantir que o modelo estivesse focado em textos clínicos em português.

Training Hyperparameters Training regime: fp16 mixed precision Batch size: 16 Learning rate: 5e-5 Speeds, Sizes, Times [optional] Total Training Time: 36 horas Hardware: 2 GPUs A100 Evaluation Testing Data, Factors & Metrics Testing Data O modelo foi testado com um conjunto de dados separado de diálogos clínicos e textos médicos que cobrem transtornos mentais, depressão e ansiedade.

Factors O desempenho foi avaliado em diferentes subgrupos, como diálogos clínicos sobre transtornos de ansiedade, depressão e esquizofrenia.

Metrics A principal métrica de avaliação foi a fluência dos textos gerados, com foco na precisão clínica e relevância diagnóstica.

Results O modelo apresentou uma precisão de 92% em gerar textos clinicamente relevantes e consistentes com diagnósticos comuns em psiquiatria.

Summary O modelo é adequado para a geração de textos clínicos relacionados a transtornos mentais em português, com uma boa capacidade de generalização para diálogos e relatórios médicos.

Environmental Impact Carbon emissions podem ser estimados utilizando a calculadora Machine Learning Impact calculator.

Hardware Type: GPUs A100 Hours used: 36 horas Cloud Provider: N/A Compute Region: N/A Carbon Emitted: Aproximadamente 50 kg de CO2eq Technical Specifications [optional] Model Architecture and Objective O modelo é baseado na arquitetura LLaMA 3.18B, adaptado para geração de texto clínico em psiquiatria.

Compute Infrastructure Hardware 2 GPUs A100.

Software PyTorch, Transformers, Hugging Face Adapters.

Citation [optional] BibTeX:

@misc{apolinario2024,
  author = {Guilherme Apolinário},
  title = {LLaMA 3.18B Psiquiatria},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face Repository},
  howpublished = {\url{https://huggingface.co/drguilhermeapolinario/llama3.18b_gtell_psiq}},
}