Kwantisering pytorch

1. Wat is kwantisatie in PyTorch?
2. Hoe werkt kwantisatiebewuste training??
3. Wat is dynamische kwantisatie??
4. Wat is statische kwantisatie??

Wat is kwantisatie in PyTorch?

Kwantisering verwijst naar technieken voor het uitvoeren van berekeningen en het opslaan van tensoren bij lagere bitbreedten dan de precisie met drijvende komma. ... PyTorch ondersteunt INT8-kwantisering in vergelijking met typische FP32-modellen, waardoor een 4x reductie in de modelgrootte en een 4x reductie in geheugenbandbreedte-eisen mogelijk is.

Hoe werkt kwantisatiebewuste training??

Dus eigenlijk simuleert kwantitatieve training gedrag met lage precisie in de voorwaartse pas, terwijl de achterwaartse pas hetzelfde blijft. Dit veroorzaakt een kwantiseringsfout die wordt geaccumuleerd in het totale verlies van het model en daarom probeert de optimizer deze te verminderen door de parameters dienovereenkomstig aan te passen.

Wat is dynamische kwantisatie??

Wat is dynamische kwantisatie?? Een netwerk kwantificeren betekent het converteren om een ​​integere representatie met verminderde precisie te gebruiken voor de gewichten en/of activeringen. ... Deze hogere precisiewaarde wordt teruggeschaald naar INT8 als de volgende laag wordt gekwantiseerd of geconverteerd naar FP32 voor uitvoer.

Wat is statische kwantisatie??

Statische kwantisatie kwantiseert de gewichten en activeringen van het model. Het stelt de gebruiker in staat om activeringen waar mogelijk in voorgaande lagen te fuseren. ... Daarom is statische kwantisatie theoretisch sneller dan dynamische kwantisatie, terwijl de modelgrootte en het geheugenbandbreedteverbruik hetzelfde blijven.