「ポップアップの発生時」をレジストリで設定する方法は
ハイブ HKEY_CURRENT_USER
キーパス Software\Microsoft\Internet Explorer\TabbedBrowsing
値の名前 PopupsUseNewWindow
値の種類 REG_DWORD
値のデータ 0：ポップアップを開く方法を Internet Explorer で自動的に判定する
1：常に新しいウィンドウでポップアップを開く
2：常に新しいタブでポップアップを開く
とのことです。
