JYAutoTester - 量測自動化軟體

JYTEK Taiwan
2023年1月5日
讀畢需時 1 分鐘

已更新：2023年1月30日

量測自動化的場景最常出現在(1)設計開發驗證以及(2)產品品質驗證的場景中。隨著產品複雜度提升以及測試需求變得更多元, 測試過程中所需要的設備更多元,測試的判定結果條件也更複雜。簡儀科技設計了JYAutoTester的自動化測試軟體, 希望用最輕量化的解決方案提高開發者、驗證人員的效率。

JYAutoTester具備以下幾個特點:

同一套UI應用在不同的測試需求

UI測試介面與使用到的硬體以及判定pass/fail的邏輯完全無關, 換句話說, 更換硬體或是更換邏輯都不需要對UI測試介面重新改寫

Text-in, Text-out 設計

軟體從設定檔讀取(1)硬體設定、(2)測試流程、(3)外部路徑等純文字資訊, 自動解析並動態加載到程式, 執行完畢後可以將結果匯出文字檔

使用文字格式進行硬體控制操作以及排程設定

硬體控制採用Json格式後的文字進行傳輸控制, 意味控制也可以透過網路進行操作。排程的設定同樣採用Json格式的文字進行編排

操作步驟可以參考以下

設計概念

簡儀科技將兩個核心的程式獨立, 讓開發者自行完成其中客製的內容

硬體的控制操作程式
邏輯判定的程式

以上兩項的程式, 在開發者開發完畢之後, 即可透過文字設定檔的方式加載到JYAutoTester裡面, 並對其進行排程的設計跟操作。設定檔採用Json格式, 可讀性以及編輯方便性大幅提高。不像其他的排程軟體, JYAutoTester的使用需要部份的C#軟體開發, 但也因此讓軟體能夠以最輕量化的方式達到測試的目標。

使用前準備

Visual Studio 或Visual Studio Code 開發環境
具備基本C# 程式開發經驗
在開發專案裡面新增 nuget package - MATSys

操作四步驟

1. 模組設計(Module Design)

"Module"代表在JYAutoTeser裡面可以被控制的最小操作單元, 例如量測儀器、馬達控制等。設計過程只需要三個步驟就可以完成, 如下圖

將客製的類別繼承ModuleBase的抽象類
產生構造函數的重載, 不需要修改其中的內容
在客製化類別的方法上面, 新增一個[MATSysCommand]的屬性標記。(重要: 方法內的參數不能有ref 或 out, 如果有請用其他中介方法取代)

完成設計後, 此類別(Handler)便可以從設定檔中動態加載, 並且可以透過Json格式的文字信行方法的操作。以此類別(Handler)為例, DoSomething的方法可以透過以下格式的文字進行操作

{"Handler" : { "DoSomething": [1, "Hello"]}}

上述的文字中, "Handler"代表的是實例化後的暱稱(同個類別可以有多個實例, 需要用暱稱分辨), "DoSomething"則是類別中的方法, 而"[1,"Hello"]"則是此方法的參數。需要注意的是參數的格式也是Json格式。方法的返回值則會用Json格式壓縮後回傳, 如果是void的話則回傳空字串。

2. 邏輯判定設計(Analyzer Design)

在JYAutoTester中, 方法的返回值會先存入一個"AnalyzingData"的實例中, 接下來會從Analyzer類別裡的方法進行分析與邏輯判定。邏輯判定的擴充以及內容可以由開發人員自行定義。更多延伸方法的說明, 可以參考微軟官網。範例如下

public static class WhatEverClassName 
{    
  public static bool LargerThan(this AnalyzingData data,double v)
  {        
    return JsonSerializer.Deserialize<double>(data.Value) > v;
  }      
  public static bool SmallerThan(this AnalyzingData data,double v)     
  {        
    return JsonSerializer.Deserialize<double>(data.Value) < v;
  }
  … 
}

如上方的程式碼, 定義了一個LargerThan的方法判定"AnalyzingData"實例中的值是否大於期望值, 返回的內容則為boolean。因此Analyzer的邏輯分析方法可以透過以下的文字實現

{"LargerThan": [ 0.2 ] }

3. 系統設定檔修改(System Configuration)

JYAutoTester所有的資訊都是從exe執行檔所在資料夾下的appsetting.json設定檔中獲取, 因此開發者可以直接透過編輯此檔案來切換測試的系統設定。系統設定包含幾個類別

MATSys區段下的References
MATSys區段下的Modules
MATSys區段下的Runner
NLog

{   
  "MATSys": {
     "Modules": [  ],
     "Runner": {   }, 
     "References": {  }   
  },
  "NLog": { } 
}

[References]

References存放的是需要動態加載的專案dll, 例如前兩點所述的Module和Analyzer的dll, 需要注意的是如果動態加載的dll有引用到其他dll的話, 也需要一併放在同個資料夾下。以下是新增完後的範例

"References": {
  “Modules": [ ".\\modules\\myModule.dll"],      
  “Analyzer": [".\\modules\\myAnalyzer.dll"], 
}

[Modules]

Modules下存放的是整個JYAutoTester需要加載的Module資訊, 其中Type是類型的名稱, 而Alias則是暱稱。暱稱是用來辨別不同實例, 必須設定不同的值。以下是兩個Module資訊的範例

"Modules": [
  {
    "Type": "Tester",
    "Alias": "Tester"
  },
  {
    "Type": "Handler",
    "Alias": "Handler"
  }
]

[Runner]

Runner下存放的是排程的資訊, 請參考以下章節

[NLog]

JYAutoTester在ModuleBase中嵌入了工作日誌的開源模組NLog, 如果遇到需要除錯紀錄的時候可以透過修改此區段的內容完成紀錄。更多NLog的資訊可以操考連結。

4. 排程內容修改(TestScript Editing)

進入編輯排程之前, 先以下圖介紹JYAutoTester的排程結構

[排程結構]

TestScript包含三個Group, 分別是"Setup", "Test", 以及"Teardown", 其中Setup和Teardown只會執行一次, 可以作為整個系統初始化以及結束節釋放的排程操作。每一個Group包含一個或多個"TestItem"實例, TestItem就是每個測試項目的最小單元, 每個TestItem在執行過程中, 會先執行獲取資料的"Executer"功能, 接著將返回的資訊使用"Analyzer"功能判定Pass/Fail。TestItem同時支援Retry/Loop的SubTestItem功能。Retry是測試直到Pass或是達到次數上限後返回, 而Loop則是測試直到Fail或達到次數上限後返回。

[排程執行階段事件]

整個TestScript執行過程中有不同階段的事件可以使用, 可以參考下圖。

[排程編輯]

在MATSys區段中的Runner區段, 存放了所有排程的資訊, 請參考下方範例

"Runner": {      
  "Type": "ScriptRunner",  
  "RootDirectory": ".\\scripts",     
  "Setup": [ { "Script": "setup.ats" } ],      
  "Test": [ { "Script": "main.ats" } ],      
  "Teardown": [ { "Script": "teardown.ats" } ]    
}

其中"Type"的部分不能變更, "RootDirectory"設定的是排程文字檔案的資料夾路徑。而"Setup","Test","Teardown"存放的則是三個不同Group的排程文字檔(Group介紹參考此) 設定的方式有分成兩種, 第一種是從檔案讀取, 另一種則是直接設定Executer以及Analyzer內容, 分別介紹如下

從檔案讀取(設定"Script")

以上述範例的此行為例:

	{"Script": "main.ats" }

JYAutoTester會從目錄中讀取main.ats的檔案, 並將其中的內容轉換成TestItem, ats檔案的內容範例可參考下方

[
   {
     "Executer": { "Tester": { "MeasureVoltage": [] } },
     "Analyzer": { "Between": [ 2, 5 ] },       
   }
]

直接編輯測試內容(設定Executer和Analyazer)

{
  "Executer": { "Tester": { "PowerInBand": [] } },    
  "Analyzer": { "LargerThan": [ 0.2 ] },    
  "Retry": 3  
}

區段Executer存放的是控制Module的指令, 而區段Analyzer存放的則是判定邏輯的指令。如果沒有Analyzer區段的話, 此測試項目會以Skip做為測試結果輸出。TestItem可以額外增加Retry/Loop的標記。

與我聯繫