Druhá generácia sa od prvej výrazne odlišuje a je univerzálnejšia. Nová verzia je hlavne určená už aj na trénovanie neurónových sietí, pričom už podporuje aj výpočty s číslami v pohyblivej rádovej čiarke a výkon TPU dosahuje až 180 teraflopov / s. Detailnú špecifikáciu novej generácie zatiaľ Google nezverejnil.


Kým prvú generáciu využíval výlučne Google na implementáciu svojich služieb, druhú generáciu sprístupňuje pod označením Cloud TPU ľubovoľným záujemcom s možnosťou využitia virtuálnych strojov s TPU v rámci jeho služby Google Compute Engine. TPU sa dajú programovať pomocou frameworku TensorFlow.