あまり「状態」と「状態マシン」の違いがよくわかってないのですが
状態遷移表には「状態マシン」は出てこないものなのでしょうか。

サブ状態みたいなものを表現しようとするとき、
「状態」の中に「状態」を置くのと
「状態マシン」の中に「状態」を置くのとでの違いがピンときてません･･･

状態マシン要素につきましては、ステートマシン図に関するパッケージのような役割を持っており、状態マシン要素を使用する際は、その配下にステートマシン図を配置します。
（現状、EAではパッケージ配下にもステートマシン図を配置できるようになっています。）

このような役割のため、現状、状態マシン要素につきましては、状態遷移表には表示されません。

また、このような役割のため、状態マシン図の配下に状態を置くのと、サブ状態とは意味合いは異なっております。

状態マシンの詳細は、UMLの仕様書などをご覧ください。