为了应对高空无人侦察机的骚扰,以及有效拦截并歼灭U-2高空侦察机,空军要求把歼6飞机的静升限在歼6I型飞机已经提高的基础上,再进一步提高。1968年5月20日,厂生产指挥部发出通知,决定在歼6Ⅰ基础上研制歼6Ⅱ。为了完成这一任务,112厂在试飞车间改装小组的基础上,成员又增加了侯有库、徐殿举等7人,此时叫歼6飞机改型小组。由曹益祥、毛毅连主要负责,试飞大队配合。空军第一研究所派2名技术人员参加。
出于进一步加大升限的目的,歼6Ⅱ在Ⅰ型的基础上进一步加大机翼面积;又拆掉了阻流板、通用梁、照相枪、信号枪、防弹钢板、发动机防护板、9框氧气瓶等。
此外,飞机还改进了进气系统,在歼6的进气口加装了可调激波锥,改善高速条件下的进气效率并减小阻力。同时进气口唇口半径减小,增加8个辅助进气门。112厂早在试制东风102的时候,就为歼6飞机增装过固定的中心激波锥。当时苏联专家是非常支持的。但是如何设计中心激波锥,苏联专家也不清楚,不过他们显然在苏联已经见到了进气口带激波锥的米格-21飞机,因此支持这种改进。而在东风102试制试飞经验的基础上,112厂设计人员为歼6Ⅱ飞机设计了新的可调激波锥。
歼6Ⅱ在采取减重措施的同时,为了弥补原歼6Ⅰ仅保留一门机身30毫米炮导致火力不足的问题,在机身左侧增装一门23毫米炮。
经过7个月的紧张工作,按计划提前5天完成改型。1969年3月25日,第一架歼6II型飞机3301号由叶光荣首飞成功。8月份,首架歼6Ⅱ专门前往北京南苑机场作表演,给予了很高评价。生产的两架歼6II于1969年9月全部交空24师使用。
1969年首飞成功的歼6Ⅱ飞机,速度为马赫数1.44,升限则达到了19500米。然而飞机由于在飞行过程中出现机尾罩温度过高的问题,因此未设计定型。此外,1968年美国已经停止轰炸越南北部。到了1969年,美“火蜂”高空无人侦察机的活动也接近尾声,1969年底美军基本停止了使用侦察机侦察我国西南边境的行动。而针对“火蜂”和U-2等高空侦察机设计的歼6Ⅱ也未投入批量生产。