Luis, un poco complicado tu problema.
Veo 2 cosas principalmente.
Dices que tratas de instalar una segunda instancia... ¿Seguiste los pasos sugeridos por Oracle (Mysql) para la instalación de múltiples instancias de Mysql-Server en un único servidor?... Entre otras debes utilizar un puerto de escucha del servicio distinto (3306, 3307, 3308, etc).
Por otro lado, buena parte de los mensajes de error tienen que ver directamente con la incapacidad del servidor de disponer de un número X de memoria para el servicio de mYsql-Server, específicamente para el motor de almacenamiento INNODB... En tal sentido, debes también modificar tu archivo my.cnf y cambiar la variable innodb_buffer_pool_size por un número más pequeño.
___________________________
Ing. Jesús Alfredo Uzcanga
Twitter: @JesusUzcanga
We learn the 20% of what we HEAR,
the 50% of what we SEE,
the 80% of what we DO and
the 95% of what we TEACH.
____________________________________________________________
https://www.linkedin.com/in/jauzcanga/