高山族约有40万人左右，占省1900万总人口的2％强。主要分布在本岛山地和东部沿海纵谷平原以及兰屿岛上，分布面积约1.6万多平方公里，占全省面积的45％左右。高山族随着分布地区的不同，也有着不同的称谓。主要有泰雅、阿美、排湾、布农、鲁凯、卑南、曹、赛夏、雅美和平埔人等等。不过，在明清以前高山族并无专有名称，在汉文记载中常以地名冠以“土人”称之。1590年，葡萄牙人航海经过海峡时，称为“伊拉福摩萨”，意为美丽之岛，高山族人也被称作“福摩萨人”

或“福摩萨土着”。1662年着名民族英雄郑成功收复后，即称高山族为“土番”。有清一代，才普遍称为“番族”或“番人”，1945年日本无条件投降后，被日本侵略统治达50年之久的才重新回到祖国的怀抱，自此之后才把居住在的这一少数民族统称为高山族，一直沿用至今。

然而，关于高山族的来源，历来说法不一，主要有，1.土着说：连横在其所着《通史》中说：“高山之番，实为原始”，主张高山族是最早的原始居民。2.从南洋来的马来人：主张这一说法的主要根据高山族（平埔人）的体质、语言，文化等方面具有许多与马来人相似的特征，认为他们是来自菲律宾、婆罗洲诸群岛的马来人。3.说：持此说者主要是张光直、凌纯声等，主要根据考古发现的有段石锛、有肩石斧、绳纹陶、网纹陶、黑陶、彩陶等等，均与东南沿海一带的原始文化同属一个类型，因而认定高山族来自古越人的一支。

张光直以出土文物论证了土着民族的文化属于我国新石器时代在东海岸形成的“龙山文化”。凌纯声则进一步指出土着民族是祖国南方古越、濮族（越僚族）的苗裔，其先民自直接迁徙到。

应该说上述张光直、凌纯声所主张的说是基本正确的，林惠祥、陈国强先生更从发现的新石器及至其后的陶器与风俗习惯等等，来全面论证说明高山族的来源主要是来自东南沿海一带（《高山族研究》）。《中国历史大辞典》民族史辞条也说：“高山族是百越的一支”，应是从祖国迁移过去的（《历史教学》1980年第12期）。不过，施联朱先生在其《高山族族源初探》一文中，认为上述诸家之说，都失之于片面，根据几年来考古学的发现和文献记载，以及高山族的民间传说研究，主张高山族的来源应是多源的，主要来自祖国东南沿海一带古越人的一支。

但地处东南沿海，在漫长的岁月里，有少数来自东北琉球群岛和南方菲律宾、婆罗洲以及密克罗尼西亚诸群岛的居民，与早先迁来的古越人相互融合，逐渐发展成为今天的高山族。施氏首先从台南左镇发现的人类化石和台东长滨乡八仙洞出土的旧石器，来说明早在1.5万年前的旧石器时代，与祖国旧石器时代文化的渊源关系。继从新石器时代出土文物与福建沿海原始文化所表现的共同性来论证，特别是战国之时，公元前334年，楚威王灭越后，“越以此散，诸族子争立，或为王，或为君，滨于江南海上，服朝于楚”等史料，可知此时的越人流落江南各地，有的甚至渡海避居、澎湖。

其次是公元前135年闽越击南越时，汉武帝发兵往救，闽越王郢的弟弟余善与宗族谋曰：“王以擅发兵击南越，不请，故天子兵来诛。今汉兵众疆，今即幸胜之，后来益多，终灭国而止。今杀王以谢天子，天子听，罢兵，固一国完；不听乃力战，不胜，即亡入海。”这里的“不胜，即亡入海”，显然是指东渡避居、澎湖诸岛屿而言。从三国沈莹《临海水土志》中的夷州（）篇中指出：“众山夷所居，山顶有越王射的，正白，乃是石也”和“顶有越王钓石在焉”等记载，可印证高山族与古越人有着密切的渊源关系。

徐松石先生曾把《府志》中所列高山族的特殊风俗习惯100条，与印度尼西亚和马来半岛马来人的特殊风俗习惯相比较，其中相同的占18％；与南方少数民族特别是与古越人有密切渊源关系的壮侗语族的各族比较相同或接近的占82％，说明高山族的祖先大部分确是来自祖国上的古越人。但施联朱除认为高山族主要来源于古越外，还认为有部分源自琉球群岛、菲律宾群岛等地的居民。甚至还有一部分是融合了从迁去的金人和汉人。从高山族的婚姻、丧葬、墨齿、喜嚼槟榔、穿桶裙、贯头衣、大木作臼等等文化习俗来看，还可能一部分来自于广东、广西、海南等地的壮侗语族，主张高山族的来源应是多源的（《民族历史与文化》）。