W sumie to myślę, że jeśli model byłby fest szeroki, to by może byłby problem? Ale raczej modele są bardziej wąskie i głębokie (heh).
Jeśli na każdej karcie graficznej jest po kilka warstw, to jedyne opóźnienia byłyby w dostarczeniu wyniku z poprzedniej do następnej, jeśli dobrze rozumiem. Tylko zdaje mi się, że to jest stosunkowo mały problem, bo nie przenosimy całego modelu.
Nie, optymalizacja kodu przez samą maszynę istniała już od pierwszych kompilatorów, to jest zupełnie coś innego z punktu widzenia techniki. Nie ma w tym zresztą nic dziwnego, bo nikt nie będzie pisał kodu w assemblerze, albo, o zgrozo, w kodzie maszynowym, dla pełnej optymalizacji, zwłaszcza że programy komputerowe są znacznie większe, niż były kiedyś.
A czy Epic Games używało AI przy nowszych wersjach swojego silnika, to inna sprawa. Nie wiem i się nie wypowiem.