超過人眼的CMOS感應器的研發軼事 佳能coms 怎么開發出來 2.5億像素感應器 18千米元的飛機可以觀察清楚
佳能在2010年制造出1.2億像素的CMOS感應器,引起了人們的關注。此后研發組接到的下一個任務是要研發性能翻倍的具有2.5億像素的感應器。像素要更細微,周邊電路要更高速。這樣的難關研發組是怎樣攻克的呢?
——像素高達2.5億,距18千米遠的飛機機身上寫的字也能識別。這個CMOS感應器是在什么時間點開始研發的呢?
領木達也
佳能早在2010年就已制造出1.2億像素的CMOS感應器。1.2億像素相當于人的視覺細胞數。而接下來的富有挑戰性的項目就是在此基礎上還要實現性能翻倍,以展現更大的優勢。就這樣,我們開始了2.5億像素的影像感應器的研發工作。
高田健司
像素數只增加到1.3億、1.4億這種水平的話,很快就能被別的公司追上來,所以要搞就搞個翻倍的出來,目標朝著世界第一去(笑)。
領木
不僅是增加像素數,為了實現美麗的圖像,我們還下功夫提高了每個像素自身的性能。費了很大的勁兒,但是我認為達到了當初設定的目標性能。
對拍攝的影像(左側照片)進行電子變焦,然后再運用圖像處理技術。人眼難以識別的約18千米遠正在飛行的飛機上的文字可以識別(右側照片)
(使用樣機拍攝的照片。樣機上用的是EF800mm遠攝鏡頭與電子變焦。)
——2.5億像素這個目標是不是相當的有難度啊?
領木
感應器芯片的大小是受限制的,必須在有限的尺寸里容納下所有的要素。為了實現這一目標,需要3個部門的緊密合作,這3個部門是:對CMOS感應器上的像素構造進行研發的部件設計部門;對制造工藝進行研發的過程研發部門;以及生產工廠。
鳥居慶大
當時過程方面有兩大課題:一個課題是要在與之前同樣面積的芯片上放進兩倍的像素,為此要更加細微化;另一個課題是變小了的像素怎么能吸收進光。
木戶滋
CMOS感應器的像素單元由很多半導體元件構成,所以需要對像素單元進行均勻地制造。也就是說,要讓導入的光均勻地照射在所有像素上。所以與存儲卡等其它半導體相比,CMOS感應器在制造中同時要求細微化和均勻化的程度更高。因此在工廠制造階段想提高其成品率變得更難。
鳥居
例如,之前的話,有1微米的塵埃混入則不合格,而這次由于更加細微化,有0.1微米的塵埃混入就會成為不合格品。
——像素是2.5億時,處理的數據量也翻倍是吧。
領木
毎秒拍5張的話,也就是1秒鐘要處理來自12億5,000萬像素的信號,所以周邊電路需要高速工作。CMOS感應器的制作過程由形成電子回路的過程和形成像素的過程這兩部分組成,在讓這兩部分匹配上我們花了很大力氣。
——什么地方需要花力氣了呢?
搭載了2.5億像素CMOS感應器(右側照片)的樣品相機(左側照片)
(裝載EF35mm F1.4L USM鏡頭時)
領木
對于電子回路的話,應該采用與以往相比能以更低電壓進行高速運轉的周邊電子回路的制作過程。可是這樣的條件在像素的制作過程中如果采用,有可能對像素的特性帶來不良影響。在研發初期,我們曾試著采用過新的高速回路制作過程制作芯片,結果像素的特性完全出不來。即使拍攝黑色畫面也會發生無數的白色光痕。
我們把芯片實際切開觀察了截斷面,發現如果在像素制作過程中使用周邊電子回路制作過程中使用的溫度,那么對于像素制作過程而言這個溫度是不夠的。
大貫裕介
基于這樣的結果,我們擔任像素工作的組進行了模擬測試,找到了一個大致基準,即在什么樣的條件下能使周邊電子回路制作過程和像素制作過程都能成功,然后向電子回路設計組和制作工藝組進行了提案。
鳥居
設計、制造工藝、工廠這三者密切合作,各擔任人員能碰頭見面,我認為這是大有好處的。
2017年元旦報紙上的佳能廣告里,刊登了色彩鮮艷的平等院鳳凰堂的照片。其實這張平等院鳳凰堂的照片是在午夜時分拍攝的。午夜里也能拍出像白晝一樣的照片,為了實現這樣超高感光度的感應器,研發者們下了怎樣的功夫呢?
——元旦報紙上的平等院鳳凰堂的照片初看好像就是經常會見到的風景照片,沒想到竟然是在夜里拍攝的。這個感應器的性能讓我感到吃驚。
佳能首個超高感光度多用途相機“ME20F-SH”
赤堀博男
佳能在2013年研發了一款專用于拍攝視頻的35mm全畫幅超高感光度CMOS感應器。該感應器可在只有一炷香亮度的黑暗室內(照度0.05x0.01lux)實現視頻的拍攝。
此后,在2015年佳能又研發出更成熟的可在0.0005lux以下拍攝彩色視頻的感應器,并發售了搭載該感應器的佳能首個超高感光度多用途相機“ME20F-SH”。廣告里的平等院鳳凰堂照片正是使用這款相機拍攝的。
——與市場上銷售的數碼單反相機相比,它的感光度確實有很大的優勢呀。
午夜中的平等院鳳凰堂的照片
赤堀
與佳能數碼單反相機的較高端機型“EOS-1D X Mark Ⅱ”相比,像素尺寸達到了7.5倍以上。在ISO感光度方面,一般來說3200左右是拍攝的上限,但是超高感光度CMOS感應器達到了400萬。
以往我們一般的作業方式是:由事業部先定規格,然后由研發部按照事業部的要求進行感應器的研發。但是今后我們(研發部門)想自己主動考慮技術上的路線圖,積極向事業部提出新的影像感應器提案。這個超高感光度感應器就是為此而走的第一步。
所以如果只是“ISO感光度提高到1.XX倍”的話,在技術上沒有什么震撼力。所以為了能有震撼力,而且能與我們擁有的技術相吻合,還能與市場需求相吻合,我們在研發中的口號是“實現超過數碼單反較高端機的ISO感光度!”。
——為了提高感光度,你們下了什么樣的功夫呢?
單個像素內的構造
赤堀
CMOS感應器的像素內的構造是這樣的:感應器各像素內的微透鏡把到達該像素的光進行較大限度的獲取,并送至能檢測光的光電二極管。
為了能達到高感光度,需要讓每個像素尺寸變大,這樣就可以增加對光的吸收量。剛才也說過了,我們把像素的尺寸擴大到了以往單反相機的約7.5倍以上。但是這樣一來,不僅出現讀取信息費時間這個感光面積大就必然會有的難題,而且大尺寸微透鏡的設計,以及在批量生產方面等等,都碰到了難題,進行了一番苦斗。
設計了光電二極管內的多級臺階勢能構造
例如,在讀取信息方面,我們下了不少功夫。所謂的讀取信息,具體說來就是通過光電二極管把光轉變成電子,然后經由晶體管,誘導至讀取的電子回路。我們利用了(佳能)在研發觀測天體用的巨大CMOS感應器時積累的技術,為了能讓電子便于流動,我們想到了把像素內做成多級臺階的勢能構造。但是臺階數、形狀、角度等等,坡道的構造可以有幾萬種。于是我們通過龐大量的模擬測試進行了優化,終于使大尺寸像素也能高效地讀取信息。
木戶
與其它感應器相比,超高感光度感應器發出的電平較高,因此即使受到丁點兒塵埃或金屬的污染,也會帶來很大的影響。所以(對超高感光度感應器)進行批量生產的工廠,需要徹底控制這些污染。
所以搞新的嘗試總之就是要經過設計、工藝、制造三方的反復試驗反復失敗。我們相關的研發人員真的是一起合作進行了反復的試驗。
一般的CMOS感應器在拍攝高速移動的電車等時,由于受其感光原理的限制,拍攝出的被攝體有時會發生扭曲。如果是搭載了全域快門功能的CMOS感應器,就能防止這種現象。但是全域快門的研發可并不是一帆風順的。研發者們靠什么樣的思路轉換解決了寬動態范圍與全域快門的矛盾?
——你們研發出了搭載“全域快門功能”的CMOS感應器,那么這個“全域快門功能”究竟是什么呢?
大貫
數碼相機和攝像機等機器在記錄影像時,根據照射在CMOS感應器像素上的光的強弱,電子會相應地積蓄,而讀取此電子,就可以得到圖像數據。
一般的CMOS感應器采用的是卷簾快門,以“行”為單位進行像素的曝光和電子的讀取。因此,較初曝光的行和較后曝光的行之間會產生時間差。其結果是當拍攝正在行駛的電車或是正在旋轉的螺旋槳時,被攝體有時會發生扭曲,還有當在拍攝過程中使用閃光燈的話,有時會發生圖像的上部和下部亮度不同的現象(flashband現象)。
——哦,我也曾看到過扭曲的電車的影像,原來原因是出于此啊。
大貫
如果是全域快門的話,由于所有的像素是在同一時間點曝光,所以扭曲或是上下亮度不同的現象(flashband現象)就不會發生了。
卷簾快門和全域快門的比較
——那么這個是怎么實現的呢?
大貫
你可以把CMOS感應器的每個像素看作是水桶一樣的東西。卷簾快門方式的CMOS感應器的話,它的每個像素只有一個用來接受光的光電二極管這樣一個水桶,需要從這個水桶依次讀取電子。
而全域快門方式的CMOS感應器的話,除了有接受光的光電二極管這個水桶外,還有第二個水桶,就是臨時存儲光電二極管電子的存儲器。把所有光電二極管水桶的電子在同一時間點輸送到存儲器水桶,這樣就實現了全域快門。
但是在這個方法上我們遇到了很大的問題。
——是什么問題?
大貫
在單個像素里要有兩個水桶(二極管水桶和存儲器水桶),那么每個水桶自然就要小了。
比如如果是10L的水桶的話,可以表現從“沒有水”到“水滿10L”的狀態,而如果是5L的水桶,那么與10L的水桶相比,能表現的狀態就會少了。
影像感應器的一個重要性能指標是叫做動態范圍的東西。它指的是信號的較小值與較大值的比率,你把它想成就是水桶的大小可能比較容易理解。越是大的水桶,也就是動態范圍大的話,亮度和顏色的表現力也就越大。
所以全域快門和動態范圍是一對互不兩立的矛盾,需要想辦法解決。為了解決這個難題,我們開發了新的驅動方式。
在此之前,我們考慮的是全域快門方式的光電二極管水桶和存儲器水桶做成一樣大,而后來考慮新的驅動方式時,在光電二極管水桶和存儲器水桶的大小上,以及在(電子的)輸送方法上下了功夫。
——這個想法是怎么產生的?
大貫
從各種工種中選出一些人員,由選出的人員一起研究討論怎樣既能實現全域快門又能實現寬動態范圍的問題。大家的工種不同,討論時也有討論不到一起去的時候,但也正是由于各自的領域不同,彼此都尊重對方的發言,不會輕易否定,所以才有了各種不同的看問題的角度,在此基礎上形成方案,方案出來后又馬上嘗試。我們就是這樣反復進行了各種嘗試。這其中的一個嘗試,就是新驅動方式。
這一技術不是憑空產生的,而是大家一起千辛萬苦思考解決方法,較終才誕生出來的。
影像感應器的需求量急劇增加,這些需求主要來自工業機械、汽車等新領域。如何才能夠迅速研發出這些領域所需求的感應器,并投入市場呢?面對與一般消費者完全不同的市場,研發者們已經開始了新的挑戰。
——此前佳能自己研發的影像感應器都是用于自己公司生產的數碼相機等中,但是聽說今后要把影像感應器對外銷售是吧。
高田
佳能在2015年1月設立了銷售推進項目,要在今后嘗試影像感應器的對外銷售。超多像素、超高感光度的感應器,它主要是為了宣傳佳能的技術,其對象是一些相對比較小眾的市場。
而另一方面,全域快門是今后成為工業用相機主流的拳頭產品。
——請具體說明一下好嗎?
高田
現在不僅是日本的制造業,包括美國等國家的制造業都有一個動向在擴大,就是把曾經去國外建的工廠又重新搬回國內。但是為了能在這些人工費用高的發達國家進行制造,實現自動化以降低成本是必需的。因此,對自動進行產品檢查的相機等的工業用相機的需求今后應該是有很大增長的。
除了工業用相機領域以外,在汽車領域的需求應該也會增加。在負責制訂汽車國際標準的聯合國世界車輛法規協調論壇上,從2017年6月開始,相機與監視器組合來替代后視鏡使用已經在國際上被認可,另外,也正在討論是否要強制要求在汽車上安裝緊急情況時的自動剎車裝置。在這些用途方面,影像感應器起著重要的作用。
——面向一般消費者的商品企劃與面向工業用途的商品企劃也不一樣吧?
高田
面向一般消費者的相機,是人來使用的。可是工業用、汽車用的相機是嵌入到機器里被使用的。工業機器要保證在365天每天24小時運轉也不能壞,而汽車則需要在炎炎烈日下或是零度以下的嚴酷環境也能正常工作。
佳能制造的影像感應器的畫質我想是毋庸置疑的,但是今后除了畫質外,在耐久性、耐環境性能方面展現出自己優勢應該也會變得重要起來。
大貫
迄今為止影像感應器都是為了用來記錄人眼所捕捉到的影像。但是今后將逐漸用于超過人眼的用途。例如用來觀察可視光以外的范圍,例如在極其黑暗或極其明亮的地方拍攝,再例如捕捉超高速運動物體的影像等。在這些“感知”用途上應該可以大顯身手。
——也就是說影像感應器的作用會發生很大變化是吧。那么為了研發這樣的新產品,研發者們應該怎樣做呢?另外,想和什么樣的人一起工作呢?
高田
要以世界范圍的市場為目標,有成為“世界第一”的雄心。這可能是很重要的吧。
木戶
剛才話題也說到,面向一般消費者與面向工業這二者,在對影像感應器規格上的要求是不一樣的。所以需要順應變化,要有勇于投入到新領域的積極向上的精神。
赤堀
產品研發是整個團隊來進行的工作,所以要相互關注彼此的狀況,在此基礎上推進才能夠順利。我想和這樣的人一起工作,就是不僅對自己的專業領域,對周圍其他領域的技術也能夠正確理解,而且有溝通能力的人。
鳥居
我擔任的是制造工藝技術。但是我在進入佳能之前,對半導體可以說是一無所知。我們半導體組里,半導體專業出身的人有沒有10%都不好說。今后的半導體行業,除了生物以外的所有領域,例如物理、化學、電氣等,都會和它有關系。所以希望有各種不同視野的人加入進來。
大貫
我在大學學的是機械專業,進入佳能時對半導體也是完全不懂。CMOS感應器現在也不僅是用在數碼相機上了,所以有不同的技術背景是會有好處的。剛才鳥居說“除了生物以外”,可是CMOS感應器在醫療方面的應用現在也在發展,今后也許生物方面的知識也會派上用場。我們想要這樣的畢業生來加入,就是不管自己在學校學的是什么專業,總之進入佳能是因為有想要干的事。
領木
10年來我一直從事CMOS感應器的研發,在工作中我認識到:意想不到的問題肯定會發生。可是單靠一個人能解決的問題真的是很少。只有靠周圍人的幫助,才能夠解決。讓周圍的人加入進來,自己也幫助周圍的人。為此要學習各種知識。我確實感到這種彼此合作彼此照顧(Give and take)的精神很重要。
在采訪中也談到CMOS感應器的用途不僅停留在數碼相機,而是正在擴展到各種領域。人們用相機記錄影像留住記憶的行為,在CMOS感應器的用途里已經只占一小部分了。當電子設備認知現實世界并作用于現實世界時,幾乎可以說在其中一定是要有影像感應器存在的。
現在數碼相機的市場確實是在縮小,但是遠大于此的巨大市場已經誕生。圍繞這個市場,全世界正在展開激烈的競爭。
在急速擴大的市場中,怎樣才能抓住多樣化的用戶需求?
在佳能,設計、工藝、制造等各部門在進行著緊密的合作。這對于掌握用戶需求并迅速進行產品化來說是有很大好處的。今后究竟會誕生出怎樣的感應器?讓我們拭目以待吧。
采訪與撰稿
山路 達也(Yamaji Tatsuya)
生于1970年。曾擔任雜志社編輯工作,后獨立成為自由撰稿人/編輯人。目前活躍在IT、科學、環境領域,從事采訪和寫作活動。
著書有《Apple、Google成為神的日子》(與他人合著)、《新超傳導入門》、《Google的72小時》(與他人合著)、《彈言》(與他人合著)等。
此次“訪談”的研發人員