Transformers documentation
FalconMamba
Este modelo se publicó en HF papers el 2024-10-07 y se contribuyó a Hugging Face Transformers el 2024-08-12.
FalconMamba
FalconMamba es un modelo de lenguaje grande de 7B, disponible en variantes preentrenadas y ajustadas por instrucciones, basado en Mamba. Este modelo implementa un diseño puro de Mamba que se centra en la eficiencia computacional manteniendo un rendimiento sólido. FalconMamba es significativamente más rápido en la inferencia y requiere mucha menos memoria para la generación de secuencias largas. Los modelos se preentrenan en un conjunto de datos diverso de 5,8T de tokens que incluye RefinedWeb, contenido técnico, código y datos matemáticos.
Puedes encontrar los puntos de control oficiales de FalconMamba en la colección FalconMamba 7B.
Haz clic en los modelos FalconMamba en la barra lateral derecha para ver más ejemplos de cómo aplicar FalconMamba a diferentes tareas de lenguaje.
Los ejemplos a continuación demuestran cómo generar texto con Pipeline, AutoModel y desde la línea de comandos.
from transformers import pipeline
pipeline = pipeline(
"text-generation",
model="tiiuae/falcon-mamba-7b-instruct",
device=0
)
pipeline(
"Explain the difference between transformers and SSMs",
max_length=100,
do_sample=True,
temperature=0.7
)from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b-instruct")
model = AutoModelForCausalLM.from_pretrained(
"tiiuae/falcon-mamba-7b-instruct",
device_map="auto"
)
input_ids = tokenizer("Explain the difference between transformers and SSMs", return_tensors="pt").to(model.device)
output = model.generate(**input_ids, max_new_tokens=100, cache_implementation="static")
print(tokenizer.decode(output[0], skip_special_tokens=True))transformers chat tiiuae/falcon-mamba-7b-instruct --dtype auto --device 0
La cuantización reduce la carga de memoria de los modelos grandes al representar los pesos con una precisión inferior. Consulte el resumen de Cuantización para conocer más backends de cuantización disponibles.
El ejemplo siguiente utiliza bitsandbytes para cuantizar los pesos a 4 bits.
from transformers import AutoTokenizer, BitsAndBytesConfig, FalconMambaForCausalLM
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
)
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = FalconMambaForCausalLM.from_pretrained(
"tiiuae/falcon-mamba-7b",
device_map="auto",
quantization_config=quantization_config,
)
inputs = tokenizer("Explain the concept of state space models in simple terms", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Notas
- Use padding izquierdo para la generación por lotes. Consulte Lado de relleno.
FalconMambaConfig
clase transformers.FalconMambaConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 50280hidden_size: int = 768state_size: int = 16num_hidden_layers: int = 32layer_norm_epsilon: float = 1e-05pad_token_id: int | None = 0bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 0expand: int = 2conv_kernel: int = 4use_bias: bool = Falseuse_conv_bias: bool = Truehidden_act: str = 'silu'initializer_range: float = 0.1residual_in_fp32: bool = Truetime_step_rank: str | int = 'auto'time_step_scale: float = 1.0time_step_min: float = 0.001time_step_max: float = 0.1time_step_init_scheme: str = 'random'time_step_floor: float = 0.0001rescale_prenorm_residual: bool = Falseuse_cache: bool = Trueuse_mambapy: bool = Falseuse_associative_scan: bool = Truetie_word_embeddings: bool = Truemixer_rms_eps: float = 1e-06 )
Parámetros
- vocab_size (
int, opcional, valor predeterminado50280) — Tamaño del vocabulario del modelo. Define el número de tokens diferentes que pueden representarse medianteinput_ids. - hidden_size (
int, opcional, valor predeterminado768) — Dimensión de las representaciones ocultas. - state_size (
int, opcional, valor predeterminado16) — Tamaño del estado del SSM (dimensión del estado latente) en las capas Mamba. - num_hidden_layers (
int, opcional, valor predeterminado32) — Número de capas ocultas en el decodificador del Transformer. - layer_norm_epsilon (
float, opcional, valor predeterminado1e-05) — El epsilon utilizado por las capas de normalización de capa. - pad_token_id (
int, opcional, valor predeterminado0) — Id del token utilizado para el relleno en el vocabulario. - bos_token_id (
int, opcional, valor predeterminado0) — Id del token utilizado para el inicio de la secuencia en el vocabulario. - eos_token_id (
Union[int, list[int]], opcional, valor predeterminado0) — Identificador de token utilizado para el fin de secuencia en el vocabulario. - expand (
int, opcional, valor predeterminado 2) — Factor de expansión utilizado para determinar el tamaño intermedio. - conv_kernel (
int, opcional, valor predeterminado 4) — Tamaño del kernel de convolución. - use_bias (
bool, opcional, valor predeterminadoFalse) — Si se usa o no sesgo en [“in_proj”, “out_proj”] del bloque mixer - use_conv_bias (
bool, opcional, valor predeterminadoTrue) — Indica si se debe usar sesgo en la capa de convolución del bloque mezclador. - hidden_act (
str, opcional, valor predeterminadosilu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo,"gelu","relu","silu", etc. - initializer_range (
float, opcional, valor predeterminado0.1) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - residual_in_fp32 (
bool, opcional, valor predeterminadoTrue) — Indica si los residuales deben estar enfloat32. Si se establece enFalse, los residuales mantendrán el mismodtypeque el resto del modelo - time_step_rank (
Union[str, int], opcional, valor predeterminadoauto) — Rango de la proyección delta (paso de tiempo). Puede ser"auto"para configurarlo automáticamente. - time_step_scale (
float, opcional, valor predeterminado1.0) — Escala aplicada al delta del paso de tiempo antes de la discretización. - time_step_min (
float, opcional, valor predeterminado0.001) —time_stepmínimo utilizado para acotardt_proj.bias. - time_step_max (
float, opcional, valor predeterminado0.1) —time_stepmáximo utilizado para acotardt_proj.bias. - time_step_init_scheme (
str, opcional, valor predeterminadorandom) — Esquema de inicialización para el delta del paso de tiempo. Puede ser"random"o"uniform". - time_step_floor (
float, opcional, valor predeterminado0.0001) — Valor mínimo permitido para el delta del paso de tiempo discreto tras la activación softplus. - rescale_prenorm_residual (
bool, opcional, valor predeterminadoFalse) — Si se deben o no reescalar los pesos deout_projdurante la inicialización. - use_cache (
bool, opcional, valor predeterminadoTrue) — Indica si el modelo debe devolver las últimas claves/valores de atención (no utilizado por todos los modelos). Solo es relevante siconfig.is_decoder=Trueo cuando el modelo es un modelo generativo solo de decodificador. - use_mambapy (
bool, opcional, valor predeterminadoFalse) — Determina la estrategia de respaldo durante el entrenamiento si la implementación oficial de Mamba basada en CUDA no está disponible. SiTrue, se utiliza la implementación mamba.py. SiFalse, se utiliza la implementación ingenua y más lenta. Considere cambiar a la versión ingenua si la memoria es limitada. - use_associative_scan (
bool, opcional, valor predeterminadoTrue) — Indica si se debe utilizartorch._higher_order_ops.associative_scande PyTorch para el escaneo paralelo en lugar de la implementación secuencial simple. El escaneo asociativo solo está activo durante el trazado detorch.compiley requiere torch >= 2.9.0. Ambas rutas se prueban para producir resultados numéricamente idénticos (vertest_associative_scan_matches_sequential). EstablezcaFalsepara volver al bucle secuencial. - tie_word_embeddings (
bool, opcional, valor predeterminadoTrue) — Si se deben vincular las matrices de pesos de embeddings según el mapeotied_weights_keysdel modelo. - mixer_rms_eps (
float, opcional, valor predeterminado 1e-06) — El valor de epsilon de la normalización RMS que se utiliza en la normalización RMS del Mixer para los estados B, C y dt.
Esta es la clase de configuración para almacenar la configuración de un FalconMambaModel. Se utiliza para instanciar un modelo Falcon Mamba según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de tiiuae/falcon-mamba-7b
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplo:
>>> from transformers import FalconMambaConfig, FalconMambaModel
>>> # Initializing a FalconMamba configuration
>>> configuration = FalconMambaConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = FalconMambaModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configFalconMambaModel
clase transformers.FalconMambaModel
< source >( config: FalconMambaConfig )
Parámetros
- config (FalconMambaConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
El modelo Falcon Mamba básico que genera estados ocultos sin ningún cabezal específico en la parte superior.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.LongTensor] = Nonecache_params: transformers.cache_utils.Cache | None = Noneuse_cache: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneattention_mask: typing.Optional[torch.LongTensor] = None**kwargs ) → FalconMambaOutput or tuple(torch.Tensor)
Parámetros
- input_ids (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.
- inputs_embeds (
torch.LongTensorde forma(batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasarinput_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices deinput_idsen los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo. - cache_params (
Cache, opcional) — Si se pasa, el modelo utiliza el estado anterior en todos los bloques (lo que dará la salida para losinput_idsproporcionados como si el modelo añadierastate_input_ids + input_idscomo contexto). - use_cache (
bool, opcional) — Si se establece enTrue, se devuelvecache_paramsy se puede usar para generar rápidamente los siguientes logits. - output_hidden_states (
bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consultehidden_statesen los tensores devueltos para obtener más detalles. - return_dict (
bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple. - attention_mask (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en[0, 1]:- 1 para los tokens que no están enmascarados,
- 0 para los tokens que están enmascarados.
Devuelve
FalconMambaOutput o tuple(torch.Tensor)
Un FalconMambaOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (FalconMambaConfig) y las entradas.
El método forward de FalconMambaModel sobrescribe el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
last_hidden_state (
torch.Tensorde forma(batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del modelo.cache_params (
~cache_utils.Cache, opcional) — El estado del modelo en el último paso de tiempo. Puede usarse en un método forward con los siguientesinput_idspara evitar proporcionar losinput_idsanteriores.Incluye tanto las matrices de estado del modelo de espacio de estados después del barrido selectivo como los estados de la convolución
hidden_states (
tuple[torch.Tensor], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
FalconMambaLMHeadModel
clase transformers.FalconMambaForCausalLM
< source >( config: FalconMambaConfig )
Parámetros
- config (FalconMambaConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
El transformer del modelo FALCON_MAMBA con una cabeza de modelado de lenguaje en la parte superior (capa lineal con pesos vinculados a las incrustaciones de entrada).
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonecache_params: transformers.cache_utils.Cache | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs ) → FalconMambaCausalLMOutput or tuple(torch.Tensor)
Parámetros
- input_ids (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.
- attention_mask (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en[0, 1]:- 1 para los tokens que no están enmascarados,
- 0 para los tokens que están enmascarados.
- inputs_embeds (
torch.Tensorde forma(batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasarinput_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices deinput_idsen los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo. - cache_params (
Cache, opcional) — Si se pasa, el modelo utiliza el estado anterior en todos los bloques (lo que dará la salida para losinput_idsproporcionados como si el modelo añadierastate_input_ids + input_idscomo contexto). - labels (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Etiquetas para el modelado de lenguaje. Tenga en cuenta que las etiquetas se desplazan dentro del modelo, es decir, puede establecerlabels = input_idsLos índices se seleccionan en[-100, 0, ..., config.vocab_size]Todas las etiquetas establecidas en-100se ignoran (se enmascaran), la pérdida solo se calcula para las etiquetas en[0, ..., config.vocab_size] - output_hidden_states (
bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consultehidden_statesen los tensores devueltos para obtener más detalles. - return_dict (
bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple. - use_cache (
bool, opcional) — Si se establece enTrue, se devuelvecache_paramsy se puede usar para generar rápidamente los siguientes logits. - logits_to_keep (
Union[int, torch.Tensor], opcional, valor predeterminado0) — Si es unint, calcula los logits para los últimoslogits_to_keeptokens. Si es0, calcula los logits para todos losinput_ids(caso especial). Solo se necesitan los logits del último token para la generación, y calcularlos solo para ese token puede ahorrar memoria, lo cual se vuelve bastante significativo para secuencias largas o un tamaño de vocabulario grande. Si es untorch.Tensor, debe ser de 1D y corresponder a los índices a conservar en la dimensión de longitud de secuencia. Esto es útil al usar el formato de tensor empaquetado (una sola dimensión para el lote y la longitud de secuencia).
Devuelve
FalconMambaCausalLMOutput o tuple(torch.Tensor)
Un FalconMambaCausalLMOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (FalconMambaConfig) y las entradas.
El método forward de FalconMambaForCausalLM sobrescribe el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
loss (
torch.Tensorde forma(1,), opcional, se devuelve cuando se proporcionalabels) — Pérdida de modelado de lenguaje (para la predicción del siguiente token).logits (
torch.Tensorde forma(batch_size, sequence_length, config.vocab_size)) — Puntuaciones de predicción de la cabeza de modelado de lenguaje (puntuaciones para cada token del vocabulario antes de SoftMax).cache_params (
~cache_utils.Cache, opcional) — El estado del modelo en el último paso de tiempo. Puede usarse en un método forward con los siguientesinput_idspara evitar proporcionar losinput_idsanteriores.Incluye tanto las matrices de estado del modelo de espacio de estados después del barrido selectivo como los estados de la convolución
hidden_states (
tuple[torch.Tensor], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.