拡張モニタの設定で、拡張にしている時にタスクバーをどのように表示するか？の設定が可能になります。

設定方法はタスクバーの何も無い領域を右クリックし、タスクバーの設定をクリックします。

表示されたウィンドウの右側をスクロースし、下の方にあるタスクバーをすべてのディスプレイに表示するにチェックを入れた状態にします。

タスクバーをすべてのディスプレイに表示するにチェックを入れると、拡張モニタ側にもタスクバーが表示されますが、さらに各ウィンドウで起動しているアプリの表示設定が可能です。

複数ディスプレイを使用する場合にタスクバーアプリを表示する場所の設定で、切り替えます。

すべてのタスクバー

下の画像は見づらいですが、アプリのアイコンがすべてのディスプレーに同じように表示されます。

メインタスクバーと、開かれているウィンドウのタスクバー

メインのディスプレイにはすべてのアプリが表示され、拡張モニタには、拡張モニタ側で起動しているアプリのみ（検索、タスクビュー、ウィジェットを除く）が表示されます。

開かれているウィンドウのタスクバー

メインのディスプレー、拡張ディスプレイ、それぞれに起動されているアプリが表示されます。

ただし、メインディスプレイの右下に表示されている時計や常駐ソフトの表示は、拡張モニタ側には表示できないようです。ＵＳＢを外すとかが拡張モニタ側でできないのが残念。。