Делаю такое редко и вечно забываю что и как.
Генерим два ключа командой ssh-keygen.
Публичный, в публичное место - на сервер, приватный оставить себе.
На сервер ключ нужно не просто положить а записать в файлик authorized_keys который лежит в папке домашней папке и далее в папке .ssh того юзера, под которым будем входить. Это самое тонкое и интересное место обычно не обговариваемое никакими доками.
Вот нужно вам на сервер под своим логином ходить. тогда ключ записываете в конец файла /home/your_login/.ssh/authorized_keys
А тут у меня возника надобность под юзера bitrix пустить кучу программеров и тогда мы все публичные ключики, которые нагенерили эти программеры кладем в конец файла /home/bitrix/.ssh/authorized_keys
И тогда все авторизуются по ключу сразу как юзер bitrix :)
Детали тут: https://losst.ru/avtorizatsiya-po-klyuchu-ssh на мой взгляд самая грамотная инструкция.