No ano 1932 e baixo unha idea do párroco D. Jesús Espinosa e coa dirección de D. Antonio Palacios, escomenzouse a construcción do Templo Votivo do mar, rematándose no ano 1937. Anexo ao templo, a Pía Unión do Apostolado do Mar, creou o orfanato Virxe do Carme para fillos de náufragos.
No ano 1957 e como continuación do templo, empézase a construcción dun convento, con planos do mesmo arquitecto, o galego Antonio Palacios. Este edificio foise facendo ós poucos, con aportacións de particulares, esmolas e doacións. No ano 1975, a Pía Unión cede o edificio do convento xunto con 14.000 m2 de terreo circundante, ( posteriormente ampliados a 20.000 m2), ao Instituo Social da Marina coa condición de que o citado patrimonio sempre sexa adicado á atención educativa dos fillos de mariñeiros. Esta institución remata o edificio, e o reconvírteo nun centro formado por Colexio e Residencia. No curso 1975-76 os alumnos do antiguo orfanato son trasladados ao novo edificio que se inaugura o 3 de novembro do mesmo ano.
En 1986, o ISM construe unha nova Residencia con capacidade para perto de 200 alumnos, quedando o anterior edificio unicamente para labor académica.
Ó longo do curso 1996-97, edifícase un polideportivo, un novo edificio para impartir ciclos formativos, unha pista polideportiva ao aire libre, a aula de natureza, e urbanízase todo o recinto. O 1 de xullo de 2006, o ISM cede todo o conxunto á Consellería de Educación da Xunta de Galicia. A denominación do Centro pasa a ser: CPI de Panxón. Neste curso 2007-2008 se imparten as ensinanzas obrigatorias, dende 1º de Educación Primaria ata 4º de ESO ademáis dun Programa de Garantía Social con 7 perfiles. O centro ten como obxectivo fundamental e prioritario educar na tolerancia, solidariedade e responsabilidade, tratando sempre que estes obxectivos estéan presentes na vida e nas aprendizaxes do Centro. Para isto hai elaborados: o Plan de Acción Titorial, o Plan de Atención á Diversidade e o Plan de Orientación Académica e Profesional. A ANPA do Centro Panxón, colabora co Centro nas diferentes actividades extraescolares, festivais e todo tipo de actos culturais e lúdicos que se levan a cabo ó longo do curso escolar. Tamén colabora na publicación da revista do Centro "AXIORDO".
Ó longo do curso 1996-97, edifícase un polideportivo, un novo edificio para impartir ciclos formativos, unha pista polideportiva ao aire libre, a aula de natureza, e urbanízase todo o recinto. O 1 de xullo de 2006, o ISM cede todo o conxunto á Consellería de Educación da Xunta de Galicia. A denominación do Centro pasa a ser: CPI de Panxón. Neste curso 2007-2008 se imparten as ensinanzas obrigatorias, dende 1º de Educación Primaria ata 4º de ESO ademáis dun Programa de Garantía Social con 7 perfiles. O centro ten como obxectivo fundamental e prioritario educar na tolerancia, solidariedade e responsabilidade, tratando sempre que estes obxectivos estéan presentes na vida e nas aprendizaxes do Centro. Para isto hai elaborados: o Plan de Acción Titorial, o Plan de Atención á Diversidade e o Plan de Orientación Académica e Profesional. A ANPA do Centro Panxón, colabora co Centro nas diferentes actividades extraescolares, festivais e todo tipo de actos culturais e lúdicos que se levan a cabo ó longo do curso escolar. Tamén colabora na publicación da revista do Centro "AXIORDO".