1956年9月，进入南京工学院（1988年更名为东南大学）无线电系学习。1961年7月，以5年全5分的成绩学完大学全部课程，1961年，毕业分配到中科院计算所。1961年进中科院计算所的倪光南，确实属于急需的紧缺人才，1964年，倪光南作为外部设备插件组长，参与吴几康主持研制的119机研制项目成功，该项目全国科技大会奖。
119机是我国第一台自行设计和研制的大型通用电子数字计算机，是我国计算机领域里的一项重大创造，它标志着我国自主发展计算机进入了一个新阶段，对发展我国计算机事业有着重大的促进作用，获得过1964年全国工业新产品展览一等奖。1968年，倪光南参与了计算所六室显示组万永熙主持的717机显示器研制，接着他继续参与了显示组“SK-1光笔图形显示器”的研制。
1974年，作为计算所代表参加748工程会议，根据748工程的宗旨，倪光南提议六室输入组立项开展汉字处理研究，得到了时任室主任曾茂朝和组长竺乃刚的支持。1974年8月，748工程，为汉字进入现代信息社会做出了不可磨灭的贡献，极大地推动了计算机中文化的进程。
1981年8月，应邀到加拿大国家研究院（NRC）工作，担任访问研究员（VRO），他在NRC工作的年薪是4.3万加元，按官方汇率相当于国内工资的70倍。1984年初，组织课题组研发出了汉字处理的第二项产品，即“LX－80联想式汉字图形微型机系统”。11月中国科学院计算所决定创办全民所有制的“中国科学院计算技术研究所新技术发展公司”（简称“计算所公司”，即联想集团前身），倪光南应邀于12月出任公司总工程师，将联想式汉卡的全部技术都带入了公司。1989年11月14日，计算所公司改名为联想集团公司，所以说倪光南可堪大任的优秀科学家。
