我們使用安全性至關(guān)重要的軟件面臨成本危機(jī)，這意味著所需的增強(qiáng)功能已經(jīng)超出了為其開發(fā)支付費(fèi)用的能力。例如，波音787計劃需要650萬行代碼，設(shè)計、開發(fā)和測試成本為4,000,000,0000美元。重大安全關(guān)鍵項目的趨勢表明，總成本呈指數(shù)增長，其中軟件占開發(fā)總預(yù)算的比例逐年上升。使用先前項目中使用的相同技術(shù)，下一個大型航空航天項目可能會負(fù)擔(dān)不起。所以，我們能做些什么？

安全認(rèn)證以及所需的測試和驗證是軟件開發(fā)預(yù)算的很大一部分。在利用自動化的同時，將軟件的測試向左移動（即，在軟件開發(fā)生命周期的早期）會在成本，風(fēng)險和進(jìn)度方面帶來很大的好處。下面的圖1顯示了用于商業(yè)航空公司軟件開發(fā)的每千行代碼的百萬美元成本（波音和空中客車公司的數(shù)據(jù)），清楚地表明了呈指數(shù)級增長。

圖1：民航項目中每行代碼的軟件開發(fā)成本。數(shù)據(jù)取自空中客車公司和波音公司的項目指標(biāo)。

在何處創(chuàng)建和發(fā)現(xiàn)錯誤及其對成本的影響

毫不奇怪，大多數(shù)缺陷都是在開始時甚至在編寫第一行代碼之前就引入到項目中的。在測試過程中發(fā)現(xiàn)并修復(fù)了大多數(shù)錯誤，但是在產(chǎn)品被出售和運(yùn)送后，在操作過程中發(fā)現(xiàn)了很好的百分比（多達(dá)20％?。?。在經(jīng)過認(rèn)證的系統(tǒng)中，這要么意味著耗費(fèi)巨大的修復(fù)－測試－重新認(rèn)證周期，要么意味著運(yùn)營商針對該問題的解決方法。圖2顯示了在軟件開發(fā)生命周期的每個階段引入和檢測到的錯誤的相對百分比。

圖2：顯示在開發(fā)的不同階段引入和檢測到的缺陷百分比的圖表。

在生命周期的早期修復(fù)缺陷是最便宜的，而在項目的整個過程中發(fā)現(xiàn)和修復(fù)缺陷的代價則成倍增加。在操作中，將產(chǎn)品運(yùn)送到客戶手中后，修復(fù)成本最高。部署后的缺陷修復(fù)成本是保守的，并且不包括因現(xiàn)場安全事件而對您的品牌造成的損害和責(zé)任。圖3顯示了在生命周期的每個階段修復(fù)缺陷的相對成本。顯然，目標(biāo)是將已檢測到并已修復(fù)的缺陷移到生命周期的早期，換句話說，移至“左移”。此外，我們希望減少缺陷的數(shù)量，將其傳達(dá)給客戶（在每個領(lǐng)域中都是現(xiàn)實）。

圖3：在每個開發(fā)階段查找和修復(fù)錯誤的相對成本。在需求和設(shè)計過程中，基線（1x）是修復(fù)缺陷的成本最低的地方。圖2和圖3的來源：SAVI在2012 INCOSE SE大會上的演講。

測試自動化在左移中的作用

安全性至關(guān)重要的軟件行業(yè)認(rèn)識到需要改變工作方式。太多的項目正在重新發(fā)明輪子，并且認(rèn)證全新的軟件既耗時又昂貴。新產(chǎn)品的連接性和功能的增長意味著需要改變方法。在這篇文章中，我們不會介紹所有建議的技術(shù)，而是專注于測試自動化在轉(zhuǎn)移減少，檢測和修復(fù)缺陷及安全漏洞方面所扮演的角色。

在任何對安全至關(guān)重要的項目中，很大一部分都是測試，而自動化對于實現(xiàn)安全性、保障性和質(zhì)量目標(biāo)是絕對必要的。這是測試自動化工具支持新軟件開發(fā)方法并提高測試和文檔生產(chǎn)率的方式的示例：

支持敏捷和迭代開發(fā)方法：了解瀑布方法的問題，許多團(tuán)隊正在使用更現(xiàn)代的開發(fā)方法來提高質(zhì)量和安全性。測試自動化是任何迭代開發(fā)方法的重要組成部分，因為測試套件是在模塊，組件等的每個新迭代上運(yùn)行的。測試自動化通過可重復(fù)的自動化測試來支持這些方法，從而為每個測試提供不同級別的報告，而且可以累加隨著時間的流逝。動態(tài)分析工具對于檢測難以檢測到的運(yùn)行時錯誤至關(guān)重要，而靜態(tài)分析在測試開始之前檢測缺陷中起著重要作用。

支持軟件檢查：在開發(fā)生命周期的早期消除缺陷的最佳實踐之一是檢查。檢查意味著檢查所有內(nèi)容，而不僅僅是源代碼。例如，檢查需求和設(shè)計對于防止系統(tǒng)中主要的bug源至關(guān)重要（請參見圖2）。從字面上看，許多錯誤是設(shè)計到系統(tǒng)中的。工具在此階段的作用較小，但確實可以提高代碼審查的效率。自動化的單元測試，動態(tài)錯誤檢測和靜態(tài)分析在項目的早期編碼階段提供了大大改進(jìn)的錯誤檢測。自動化測試的結(jié)果可以顯示在代碼審查中，從而減少了對手動錯誤檢測的依賴，并為檢測不正確的需求和設(shè)計決策留出了更多時間。

提高測試效率：手動測試是乏味且重復(fù)性較差。盡管結(jié)果“正確”，但結(jié)果收集可能是臨時性的，可能會遺漏錯誤。實現(xiàn)所需的代碼覆蓋率（根據(jù)安全標(biāo)準(zhǔn)和項目的關(guān)鍵程度而變化）很難跟蹤。測試自動化不僅使測試少了很多繁瑣和可重復(fù)的工作，而且先進(jìn)的測試工具的報告功能還可以創(chuàng)建有關(guān)項目狀態(tài)的重要管理信息。添加動態(tài)分析和動態(tài)分析可以在運(yùn)行時分析代碼（以檢測棘手的運(yùn)行時錯誤），而靜態(tài)分析可以在運(yùn)行之前分析代碼，從而大大提高了測試工具的錯誤檢測能力。

自動化編碼標(biāo)準(zhǔn)合規(guī)性：許多安全關(guān)鍵項目需要源代碼標(biāo)準(zhǔn)。例如，MISRA在汽車軟件中很常見，但在其他行業(yè)已經(jīng)得到認(rèn)可。一些標(biāo)準(zhǔn)要求代碼符合滿足特定目標(biāo)的公司標(biāo)準(zhǔn)。在每種情況下，手動執(zhí)行編碼合規(guī)性都是乏味且容易出錯。靜態(tài)分析工具是執(zhí)行合規(guī)性的理想之選，而高級工具則可以檢測出超出格式違規(guī)的錯誤，從而走得更遠(yuǎn)。

自動化認(rèn)證文檔：獲得軟件安全認(rèn)證的很大一部分工作是在文檔化過程，驗證和驗證中。測試自動化降低了記錄測試結(jié)果和覆蓋率分析的成本。

加速第三方軟件的重用：提高生產(chǎn)力的關(guān)鍵策略是重用軟件。理想情況下，可以使用已經(jīng)認(rèn)證的組件來降低這些子單元的開發(fā)成本。項目需要使用COTS（現(xiàn)成的商用）軟件以及可能的開源和其他源代碼。使用靜態(tài)和動態(tài)分析工具自動評估該軟件可降低使用這些組件的風(fēng)險。

改善質(zhì)量，安全性和安全性：即使是嚴(yán)格的測試方案也可能會遺漏嚴(yán)重錯誤。例如，僅代碼覆蓋率還不足以確保在發(fā)生安全攻擊或多線程代碼時的正確行為。靜態(tài)分析工具可以在不運(yùn)行特定測試的情況下檢測源代碼中的錯誤，并且可以找到在單元或系統(tǒng)測試中很難發(fā)現(xiàn)的錯誤，例如安全漏洞。動態(tài)分析工具可以在測試期間檢測運(yùn)行代碼中的錯誤，這些錯誤可能會反映在測試結(jié)果中（例如，內(nèi)存泄漏緩慢）。在系統(tǒng)測試期間進(jìn)行的模糊測試和滲透測試可以發(fā)現(xiàn)在正常操作條件下遺漏的錯誤。總體而言，最新工具發(fā)現(xiàn)的其他缺陷和安全漏洞可幫助降低成本，風(fēng)險以及進(jìn)入生產(chǎn)環(huán)境的20％左右的許多錯誤。

左移有什么影響？

顯然，必須采取一些措施來解決如圖2所示的問題。在生命周期的開始階段，引入了太多的缺陷，并使其無法被發(fā)現(xiàn)，并且在制造和制造產(chǎn)品時，產(chǎn)品中留下了太多的缺陷。在客戶手中（或視情況而定在飛機(jī)或汽車中）。采用新的開發(fā)方法，重用組件，利用COTS和開源以及工具自動化都是提高開發(fā)生產(chǎn)力的關(guān)鍵步驟。 

假設(shè)使用最先進(jìn)的工具進(jìn)行開發(fā)過程，可以在生命周期的早期發(fā)現(xiàn)并修復(fù)更多的缺陷，那么單元測試將非常有效，從而幫助減少了將其付諸生產(chǎn)的錯誤。在圖4中，一個假設(shè)的示例顯示了整個生命周期中缺陷檢測的變化——在整個生命周期的早期，大部分缺陷檢測和修復(fù)都向左移動。

圖4：該圖顯示了改進(jìn)的開發(fā)過程，該過程在生命周期的早期轉(zhuǎn)移了對錯誤和安全漏洞的檢測。

從上面的圖3我們知道，成本在每個開發(fā)階段都會大幅增加。下面的圖5顯示了將傳統(tǒng)方法中的缺陷修復(fù)成本與圖4中所示的改進(jìn)后的新方法進(jìn)行成本對比的結(jié)果，毫不奇怪的是，盡早發(fā)現(xiàn)并修復(fù)錯誤的成本要比后來修復(fù)這些問題的成本低。在這里介紹的情況下，總成本差異約為40％，這有利于左移方法。

圖5：該圖顯示了修復(fù)傳統(tǒng)方法與左移方法時的相對成本。即使總?cè)毕輸?shù)量相同，早期檢測也可以顯著降低成本。

認(rèn)證工具鏈和資格協(xié)助的重要性

在對安全至關(guān)重要的項目中使用自動化工具需要對工具本身的信任。產(chǎn)品制造商有責(zé)任確保用于創(chuàng)建軟件的過程和工具符合標(biāo)準(zhǔn)的要求。工具供應(yīng)商可以通過在銷售給制造商之前使工具獲得安全標(biāo)準(zhǔn)機(jī)構(gòu)的認(rèn)證來提供幫助，或者在無法進(jìn)行此類預(yù)認(rèn)證的情況下，提供資格協(xié)助。然后，他們可以在自己提交的文件中使用工具供應(yīng)商的認(rèn)證證據(jù)，從而減少所需的工作量。（例如，Parasoft C/C++test已通過TüVSüD認(rèn)證，符合IEC 61508和ISO 26262標(biāo)準(zhǔn)的安全相關(guān)軟件開發(fā)要求。）

在某些軟件安全標(biāo)準(zhǔn)（例如DO-178B和DO-178C）中，認(rèn)證是在系統(tǒng)級別上進(jìn)行的，單個工具和軟件并非獨立認(rèn)證。在這些情況下，工具供應(yīng)商會提供鑒定工具包和有關(guān)文檔和專業(yè)服務(wù)的幫助，從而大大降低了鑒定用于項目的工具所需的成本和精力。

結(jié)論

安全關(guān)鍵軟件肯定會陷入成本危機(jī)。大型、新的、對安全至關(guān)重要的項目開發(fā)成本過高，以至于它們可能無法盈利。開發(fā)安全性至關(guān)重要的軟件需要新的方法，并且這種工作必須減少在軟件開發(fā)生命周期后期發(fā)現(xiàn)的錯誤數(shù)量。將缺陷和安全漏洞的檢測和修復(fù)盡可能早地轉(zhuǎn)移到生命周期中，可以大大降低成本。測試自動化在提高測試效率和結(jié)果方面發(fā)揮著作用，并且是安全關(guān)鍵軟件開發(fā)新方法的重要組成部分。