Computing derivatives of tensor expressions, also known as tensor calculus, is a fundamental task in machine learning. A key concern is the efficiency of evaluating the expressions and their derivatives that hinges on the representation of these expressions. Recently, an algorithm for computing higher order derivatives of tensor expressions like Jacobians or Hessians has been introduced that is a few orders of magnitude faster than previous state-of-the-art approaches. Unfortunately, the approach is based on Ricci notation and hence cannot be incorporated into automatic differentiation frameworks from deep learning like TensorFlow, PyTorch, autograd, or JAX that use the simpler Einstein notation. This leaves two options, to either change the underlying tensor representation in these frameworks or to develop a new, provably correct algorithm based on Einstein notation. Obviously, the first option is impractical. Hence, we pursue the second option. Here, we show that using Ricci notation is not necessary for an efficient tensor calculus and develop an equally efficient method for the simpler Einstein notation. It turns out that turning to Einstein notation enables further improvements that lead to even better efficiency. The methods that are described in this paper for computing derivatives of matrix and tensor expressions have been implemented in the online tool www.MatrixCalculus.org.
The paper examines the application of the tensor calculus to the classic problem of the pure torsion of prismatic rods. The introduction contains a short description of the reference frames, base vectors, contravariant and covariant vector coordinates when applying the Einstein summation convention. Torsion formulas were derived according to Coulomb’s and Saint-Venant’s theories, while, as a link between the theories, so-called Navier’s error was discussed. Groups of the elasticity theory equations were used.
3
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
Przedstawiony w tym opracowaniu materiał zawiera podstawy rachunku tensorowego w zakresie maksymalnie zbliżonym do potrzeb mechaniki ośrodków ciągłych. Układ materiału, jak również podane w nim informacje tworzą pewną całość i pozwalają uzyskać wiedzę z algebry i analizy tensorowe w zakresie niezbędnym do swobodnego studiowania mechaniki ośrodków ciągłych bez konieczności uzupełniania jej innymi źródłami. Zakres przedstawionego rachunku tensorowego jest ograniczony do potrzeb ze strony mechaniki ośrodków ciągłych. Przedstawiony w tym opracowaniu materiał stanowi systematyczne ujęcie wykładów z podstaw i zastosowania rachunku tensorowego, jakie od wielu lat prowadzone są przez autorkę w ramach Studium Doktoranckiego przy Instytucie Podstawowych Problemów Techniki PA>
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.