John Ternus chính thức gia nhập Apple vào năm 2001, đúng vào thời điểm công ty đang chuẩn bị ra mắt iPod – sản phẩm thay đổi cục diện ngành âm nhạc kỹ thuật số. Ông bắt đầu ở đội ngũ Thiết kế Sản phẩm (Product Design team), nơi ông đóng góp vào việc phát triển các thành phần phần cứng cho các thiết bị di động đầu tiên của Apple. Với nền tảng kỹ thuật cơ khí vững chắc, Ternus nhanh chóng chứng tỏ giá trị qua khả năng giải quyết các vấn đề phức tạp, như tối ưu hóa kích thước và độ bền của các linh kiện nhỏ.
Sự thăng tiến của Ternus diễn ra một cách ổn định nhưng ấn tượng. Đến năm 2013, ông được thăng chức lên Phó Chủ tịch Kỹ thuật Phần cứng (Vice President of Hardware Engineering), thay thế Dan Riccio – một nhân vật kỳ cựu khác của Apple. Vai trò này đánh dấu bước ngoặt, khi Ternus bắt đầu lãnh đạo các đội ngũ lớn hơn, chịu trách nhiệm cho toàn bộ chuỗi phát triển phần cứng từ khái niệm đến sản xuất hàng loạt. Ông đã tham gia trực tiếp vào việc thiết kế và ra mắt mọi thế hệ iPad kể từ iPad 2, cũng như các mẫu MacBook Air mỏng nhẹ nổi tiếng. Những đóng góp này không chỉ giúp Apple dẫn đầu thị trường tablet mà còn củng cố vị thế của Mac như một biểu tượng thiết kế.
Năm 2021, Ternus được thăng chức lên Phó Chủ tịch Cấp cao về Kỹ thuật Phần cứng (Senior Vice President of Hardware Engineering), báo cáo trực tiếp cho CEO Tim Cook. Đây là vị trí then chốt, nơi ông quản lý hàng nghìn kỹ sư trên toàn cầu, giám sát mọi khía cạnh kỹ thuật của các sản phẩm Apple – từ iPhone, iPad, Mac đến Apple Watch và các thiết bị mới như Vision Pro. Dưới sự lãnh đạo của ông, Apple đã đạt được những bước tiến lớn trong việc tích hợp chip silicon tùy chỉnh (như series M1, M2, M3), giúp các thiết bị của hãng vượt trội về hiệu suất và tiết kiệm năng lượng so với đối thủ.