.bak は削除しても大丈夫ですか？

現在のバージョンが無事だと確認できていれば、たいてい問題ありません。無事でない場合のために存在しているファイルです。

改名しても開けないことがあるのはなぜですか？

すべての .bak が「元ファイルに別名を付けただけ」ではないからです。たとえばデータベースのバックアップは独自のコンテナ形式を持ち、開くのではなく復元する必要があります。

プログラムが実際に控えを取っていれば、戻せることが多いです。形式を判定し、コピーを改名して開き、どの時点のものかを確認してください。

.bak は形式ではありません。プログラムが控えとして残したコピーに付ける接尾辞なので、中身は何が作ったかによって完全に変わります。最初にすべきは開くことではなく、正体を突き止めることです。

.bak

拡張子が示しているのは意図であって中身ではありません。.bak はデータベースかもしれないし、設定ファイル、文書、ディスクイメージかもしれません。分かるのは「誰かが控えを取った」ということだけです。
作成したプログラムが元の名前を変えていることがほとんどです。多くの場合、中身は以前のバージョンそのままで、.bak が付加または置換されているだけです。
「.bak を開くツール」が存在しないのは、共通して開くべきものが無いからです。

1 文書の隣にある場合：たいていその文書の1つ前のバージョンです。name.docx.bak は .docx として開きます。
2 SQL Server から：データベースのバックアップで、SQL Server Management Studio や RESTORE コマンドでのみ復元できます。ファイルとして開くものではありません。
3 ゲームやアプリから：そのプログラム専用のセーブデータです。現在のセーブに上書きで戻すことで復元できる場合があります。
4 テキストエディタや IDE から：プレーンテキストなので、どのエディタでも安全に開けます。

現在のファイルが壊れている場合、.bak が唯一無事なコピーであることがあります。整理する前に正体を確認してください。