Вот теория:
https://ru.wikipedia.org/wiki/RSA
Там есть даже пример, с табличкой. Все понятно с этим.

Но вопрос в том: В чем сложность взлома этого алгоритма? Как я представляю: Злоумышленнику нужно взять открытый ключ, по нему рассчитать закрытый ключ, и расшифровывать что угодно.
Пример в табличке это подтверждает.
Где моя ошибка?

Сам разобрался.

В примере дается слишком короткий ключ, поэтому все так легко ломается. Реальный ключ подбирается немного дольше.

(1) Ты не разобрался, а забил.

(0) В Вики описано по ушелпски.

В ходе рукопожатия:

Получателем генерится закрытый ключ.
На основе закрытого ключа формируется открытый ключ, пусть хеш функцией, которая необратима. Исходный закрытый ключ можно только подобрать.
Открытый ключ пересылается отправителю.

В ходе обмена:
Отправитель шифрует текст открытым ключом и отправляет получателю.
Получатель расшифровывает закрытым ключом.

Сложность по открытому ключу найти закрытый

вот поэтому в ветке про учебники информатики и писал что это надо еще в школе проходить
чтобы у "программистов со стажем" не возникало подобных казусов
когда простейшие основы не понимают в своем то возрасте

(2) Разобрался. Я же написал в (1). Читай внимательнее.