microsoft/bloom-deepspeed-inference-fp16
This is a copy of the original BLOOM weights that is more efficient to use with the DeepSpeed-MII and DeepSpeed-Inference. In this repo the original tensors are split into 8 shards to target 8 GPUs, this allows the user to run the model with DeepSpeed-inference Tensor Parallelism.
For specific details about the BLOOM model itself, please see the original BLOOM model card.
For examples on using this repo please see the following:
- https://github.com/huggingface/transformers-bloom-inference
- https://github.com/microsoft/DeepSpeed-MII
收录说明：
1、本网页并非 microsoft/bloom-deepspeed-inference-fp16 官网网址页面，此页面内容编录于互联网，只作展示之用；
2、如果有与 microsoft/bloom-deepspeed-inference-fp16 相关业务事宜，请访问其网站并获取联系方式；
3、本站与 microsoft/bloom-deepspeed-inference-fp16 无任何关系，对于 microsoft/bloom-deepspeed-inference-fp16 网站中的信息，请用户谨慎辨识其真伪。
4、本站收录 microsoft/bloom-deepspeed-inference-fp16 时，此站内容访问正常，如遇跳转非法网站，有可能此网站被非法入侵或者已更换新网址，导致旧网址被非法使用,
5、如果你是网站站长或者负责人，不想被收录请邮件删除：i-hu#Foxmail.com （#换@）
前往AI网址导航
