三国时，台湾高山族先民称为“山夷”。吴国孙权派遣官兵前往台湾，历时一年。成书于公元264年至280年之间的《临海水土志》，就是根据这次越海到台湾的见闻写成的，是有关台湾高山族先民的最早记载。书中称台湾为“夷州”，高山族先民为“山夷”。书中提到：“土地饶沃”，“磨砺青石以作矢簇、刀斧”，“能作细布，亦作斑文布”，“以粟为酒，木槽贮之”，“甲家有女，乙家有男，仍委父母，往就之居，与作夫”，“女已嫁，皆缺去前上一齿”，此外还记载猎首等俗。隋代高山族先民称为“流求人”，隋炀帝二次派军队到台湾。《隋书》记载“流求人”的社会情况：“其处少铁，刃皆薄小，多以骨角辅之”；“以木槽中暴海水为盐，木汁为酢，酿米面为酒……衔杯共饮”，“以墨黥手，为虫蛇之纹”，“歌呼蹋蹄，一人唱，众皆和，音颇哀怨。扶女子上臂，摇手而舞”；“用刑亦无常准，皆临事科决，犯罪皆断于鸟丫帅”。

    唐至元代，高山族先民经历了一个主源与各次源逐渐进行大融合的时期，在土著文化继续生存发展的同时，陆续有从大陆及南洋等地移民迁入台湾与土著民杂居并发生融合。连横《台湾通史·开辟纪》道：“唐贞观间，马来群岛洪水，不获安处，各驾竹筏避难，漂泊而至台湾……故《台湾小志》曰：生番语言，出自马来者六分之一，出自吕宋者十分之一，迄北十七村多似斐利宾语，说者谓台湾番民自南洋某岛迁来。”又言：“宋末零丁洋之败，残兵义士亦有至者，故各为部落，自耕自赡。”郁永河《稗海记游》道：“相传元人灭金，金人有浮海避元者，为飓风飘至，各择所居。”黄叔敬《番俗六考》道：“新港、萧垅、麻豆各番，昔住小琉球，后迁于此”。据研究，台湾西南近海的小琉球屿是南洋土著民乘黑潮北上台湾本岛的中转站。余文仪《台湾府志》道：“南社、猫儿干二社番，其祖兴化人，渡海遭飓风，舶破漂流到台，娶番妇为妻。”以上材料表明，此时入迁台湾者各有其族属与出发地，但以南洋群岛土著民以及大陆汉人为主；入迁台湾的原因或避天灾人祸，或因飓风漂至，人数既为少数，又入土著族居地，民族融合乃大势所趋。另外，除大量陶瓷器及钱币外，台湾迄今为止尚未找到隋唐宋元时期的汉人聚落遗存，这说明其间虽有汉人迁入台湾，但由于人生地疏、势单力薄，留居者只能逐渐融入土著族。

    明代，高山族先民完成了与外来族源的融合而形成为高山族。陈第是第一个接触台湾高山族的学者，所撰《东番记》是一篇有关高山族生活文化的实地考察报告。《东番记》中从“东番”的地理分布与社会组织、战斗与衣饰、岁序与农业、婚姻与丧葬、谷物与畜兽、铁镞与捕鹿、畏海与捕鱼、山居与贸易等方面，详细记述了“东番”的社会经济状况与文化习俗，现代高山族的社会文化特点也均能在这些记述中找到对应。一些学者认为高山族作为一个族体在明代开始形成。高山族的形成受到外部的影响主要是，明代和此前大陆汉人愈来愈多的迁入，客观上促进了土著族的经济发展，也促成了高山族的形成。这是因为大批汉人入台，带来了较先进的生产技术，促进了高山族内部的沟通联系，同时也为土著族的文化带来了一个鲜明的异文化参照系，激发了他们内部的向心力和民族认同感。

    清康熙海峡两岸一统后，高山族被称为“番族”，又以分布地域分为“东番”、“西番”、“南番”、“北番”，或以居住地势分为“高山番”、“平埔番”，或以发展水平及其与汉人关系亲疏分为“野番”、“生番”和“熟番”。这种分法虽不科学，但基本上反映了高山族内部社会发展不平衡的状况。日据时期，日本侵略者把高山族改称为“高砂族”、“蕃族”。

    1945年抗日战争胜利后，祖国大陆的出版物开始称台湾世居少数民族为高山族。这个名称在1953年得到了国家的确认并一直沿用至今。

    在谈及高山族的发展时，涉及到高山族这一名称的使用问题。台湾当局在台湾光复初期，也曾使用过“高山族”这一名称，后来又称为“山胞”、“先住民”、“原住民”等。目前台湾学术界在名称使用上仍相当驳杂，“土著族”、“先住民”、“原住民”、“南岛语系诸族”、“高山族”等名称均有主张和使用者。大陆一些学者认为以“先住民”、“原住民”作为台湾少数民族名称欠妥。理由一是“先住民”、“原住民”不能成其为民族之族名，它只是一个用以界定人类活动的历史地理性的概念；二是他们仍然是对台湾少数民族的泛称、统称、概称，不是单一民族的专称，而且若以不同的历史阶段为出发点则有不同的内涵；三是这种名称不尽合乎史实，台湾古代历史上曾有“小黑人”，而“原住民”名称并没有将之考虑在内。当然，认为台湾少数民族不是单一的民族，这个观点是可以参考的，但所依据的材料，诸如语言差异、分布区域不同、族称不同、来源不同及文化生活习俗不同等，都无法有力地说明问题，因为这些现象也可以在同一民族中存在。

    高山族是对现在台湾世居少数民族的概称，这一名称的确认在一定程度上也缺乏民族识别的实地调查材料为依据。然而，它有一定自身的渊源和历史的根据，与这个民族的来源与形成有密切关联。高山族和各兄弟民族一样，为我国的领土完整，捍卫国家主权，做出了突出的贡献，在400多年来抗击外国侵略的斗争中，谱写了壮丽的篇章。从16世纪开始，台湾高山族屡遭受外国侵略。1563年，日本倭寇侵入北部鸡笼（基隆）一带烧杀抢掠，当地高山族被迫迁居山区。

    1593年，日本统治者要求他们朝贡日本，遭到高山族人民的断然拒绝。1624年，荷兰殖民者侵入西南部大员、赤嵌一带。1626年，西班牙殖民者侵入北部鸡笼、淡水一带。1642年，盘踞于台南的荷兰殖民者北上进击西班牙殖民者，取而代之地占领台湾北部。荷兰殖民者在台湾实行了38年的殖民统治，建立台湾城（热兰遮）和赤嵌城（普罗文查）等军事据点，使用武力镇压高山族，烧毁村社，任命高山族部落头人为长老，进行殖民统治；征收苛捐杂税，掠夺鹿皮等特产；推广基督教，强迫进行奴化教育。荷兰殖民者的野蛮统治和贪婪压榨激起了高山族和汉族人民的多次反抗，其中以1652年郭怀一起义的规模最大。1661年4月，民族英雄郑成功率军自厦门、金门出发，从台南禾寮港登陆，在高山族和汉族同胞的支持下，很快占领赤嵌城，经过9个月的战斗围困，逼使龟缩在热兰遮城堡的荷兰侵略军投降，收复了台湾。

    在19世纪反抗美、日侵略者侵略台湾的斗争中，高山族人民表现了不畏强暴的大无畏精神。1867年，美国借口美船罗佛号船员在琅峤（今恒春）被害事件，派海军陆战队偷袭琅峤。高山族人民在猪劳束社酋长卓杞笃的率领下，采用诱入兜击战术，最终取得了抗击美国侵略军的胜利。1871年，高山族人民误杀因遭飓风而飘至台东县八瑶湾而窜入牡丹社的琉球船民，日本以此为借口，在美国支持下于1874年5月派兵侵入琅峤，牡丹社高山族在其酋长阿碌父子率领下，英勇抵抗，最后迫使日本侵略军狼狈退却。

    1895年甲午战争后，日本侵占台湾半个世纪。日寇在台湾总督府设“蕃课”，用武力镇压高山族，设立隘勇线，不准高山族人民下山，强行没收他们狩猎用的枪支、弩弓；在高山族地区驻有军队与警察，大肆掠夺高山族地区资源，残酷剥削高山族人民。面对日寇军国主义的残暴统治，高山族人民从没有停止过反抗。从1896年到1930年的35年间，高山族人民击毙日寇5500多人。较有名的有抗日活动有太鲁阁、北势、大科坎 、雾社、宜兰南澳、台中南势、新竹石加碌等地的起义和斗争。其中，1930年10月发生的雾社起义最为壮烈。雾社高山族人民在酋长摩那·罗达奥父子领导下，利用10月27日雾社学校运动会日寇集中的机会发动起义，一举歼灭日寇100多人，占领雾社。日寇进行疯狂反扑，出动飞机，施放毒气。摩那·罗达奥等高山族勇士英勇不屈，顽强阻击，在几个月内打死打伤日寇4000多人。这次起义一直坚持到当年12月底。在总计1232人的雾社地区六个社的高山族泰雅人中，牺牲和被日寇杀害的男女老幼共有900多人。高山族人民始终坚持抗日斗争，直到1945年抗日战争胜利，高山族才摆脱日本殖民统治。