2024/10/31

Beyond 粵語歌曲歌單

Beyond 是香港搖滾樂隊。在主唱黃家駒在 1993 年在日本東京富士電視台錄制遊戲節目《想做甚麼,就做甚麼》上因為節目設計問題而意外去世後, Beyond 其它成員(主音吉他: 黃貫中、貝斯: 黃家強、鼓: 葉世榮)與滾石簽五年約,繼續以 Beyond 的名義發展。

下面是我讀一些新聞以後的想法。在一些訪談中,有提到黃家駒在意外幾個月前聊天時其實就有提過他擔心他會跌倒發生意外的事情。如果觀察整個 Beyond 的發展歷史,那麼或者黃家駒在樂隊成為香港的頂尖樂隊之後就開始有了這種預感, 因為可以觀察到,雖然黃家駒是主唱,但是在專輯裡其它三人也有一些個人創作並且在一些歌曲擔任主唱的時候, 就像是為了預防他如果意外離開,其它三人如果想繼續(即使是個人單飛發展),就可以繼續自己的音樂路。

而在黃家駒意外死亡後,這個時候 Beyond 其實有三種選擇:

  1. 從外界選擇一個新主唱。這個想法不可行的原因是 Beyond 是個極為優秀的創作樂團,所以如果要接下這個位置, 除了唱功要好,至少還需要優秀的作曲與編曲能力,這讓人選近乎為零。
  2. 不用設置主唱,而是三人各自以及合作創作,該歌曲的主創作人就是該歌的主唱。
  3. 三個人裡選擇一個新的主唱,而從使用樂器以及才華來說,就算不如黃家駒, 音樂才華也是十分優秀的黃貫中足以帶領 Beyond 繼續前進,同時樂隊也重新有了創作中心。

事後來看,這就是黃家強身為黃家駒的弟弟與黃貫中的不可協調之處。 一開始的時候是選項二,但是在滾石五年約快結束的時候黃貫中與黃家強在葉世榮不知道的情況有過談判, 葉世榮是選項二和選項三都可以,但是黃家強只接受選項二(因為是黃家駒的弟弟,所以他心裡只接受主唱是他哥哥), 黃貫中卻從幾個專輯的製作中意識到因為三個人有不同的音樂風格,如果要繼續走下去,他認為 Beyond 需要一個新主唱作為創作中心, 而他希望那就是他,但是黃家強直接而且不留餘地的否決,所以 Beyond 暫時解散及三人各自發展。

而後,在 2003 年為了紀念樂隊成立 20 周年,所以又短暫合體,並且把黃家駒一首遺作重新編曲出版,成為紀念周年作《抗戰二十年》。 但是問題一樣存在,而黃家強一樣堅持自己的想法,結果就是 Beyond 正式解散。這也是為什麼黃家強說 Beyond 緣盡了, 黃家強和黃貫中的主張在他們的立場而言都是正確的,但因為黃家強太愛他的哥哥,所以完全沒有調和的可能性。

我以聽 Beyond 國語歌曲為主,不過歌單中還是有放一些粵語歌曲(不固定,所以這只是我現在的歌單)。

  • 再見理想

    原為講述舊一代玩樂隊和在夜總會伴奏的樂手的際遇,其中由黃家駒獨唱的版本收錄在 1986 年自資發行的同名專輯《再見理想》中。 由樂隊四名成員共同參與演唱的版本收錄在 Beyond 1988年發行的粵語專輯《秘密警察》中。 歌名可以有二個意思,黃家駒獨唱的版本像是再見了理想,而四名成員合唱的版本則是再見到了理想。

  • 昔日舞曲

    有一天黃家駒拿著吉他走到街上,經過天橋時,橋下有個乞丐拉住了黃家駒的吉他,黃家駒對他說自己也沒有錢給他了。 可是那個乞丐並不是想要錢,黃家駒不懂他的意思。於是乞丐叫黃家駒坐下,向黃家駒訴說了自己昔日的理想,過去從事的事業、奮鬥的歷程以及歷經的輝煌等。 乞丐這番話使得黃家駒感慨頗深,並激勵了年輕的黃家駒在今後的音樂生涯中不斷奮鬥不斷超越自己。於是黃家駒寫了《昔日舞曲》這首歌, 以此紀念那個乞丐與他的談話,表達對音樂理想的不懈追求。這首歌收錄在 EP《永遠等待》中。

  • 亞拉伯跳舞女郎

    Beyond 第一張商業專輯《亞拉伯跳舞女郎》的同名主打歌。 《亞拉伯跳舞女郎》是一張充滿中東風情的概念專輯,專輯中充滿幻象與歷奇的場景。

  • 東方寶藏

    由《Long Way Without Friends》重新填詞並且加上中東音樂風格的版本, 收錄在《亞拉伯跳舞女郎》中。

  • 舊日的足跡

    《舊日的足跡》創作於 1985 年,歌曲靈感來自於黃家駒的一位好友 Mike Lau。 Mike Lau 故鄉在北京,為了學電影而遠赴美國, 十年後終於回到故鄉,感觸頗深。他來到香港後與黃家駒暢談自己的感想,黃家駒便將他這份思念故鄉的情懷寫進《舊日的足跡》一曲之中。 《舊日的足跡》最早收錄於 1986 年自資發行的《再見理想》中,而後在《現代舞台》中也有將前奏改為鋼琴的版本。我喜歡的是改為鋼琴的版本。

  • 冷雨夜

    《冷雨夜》由黃家駒作曲。黃家強聽到該曲的小樣之後,非常喜歡這首歌,並挑選了它收錄進 Beyond 樂團的專輯裡。 在 1991 年的演唱會裡,黃家強在《冷雨夜》表演的貝斯獨奏是為人稱道的經典。 國語版為《緩慢》。

  • 大地

    《大地》(1988年粵語、1990年國語)由黃家駒作曲,由黃貫中主唱(粵語及國語)。 《大地》歌詞隱喻兩岸中國人長年分隔的骨肉分離的滄桑。

  • 喜歡妳

    《喜歡妳》是黃家駒寫給和自己已經分手的女友的一首歌。最初做音樂時,由於某些原因黃家駒不得不放棄深愛著的女友, 把時間和精力放到音樂之中,這令他十分愧疚。所以他便寫了《喜歡妳》這首歌,表達對失去愛情的苦楚。

  • 真的愛妳

    《真的愛妳》收錄於《Beyond IV》大碟,為該專輯的主打歌。歌曲以讚頌母愛為主題,表達了對母愛的讚揚。

  • 歲月無聲

    《歲月無聲》收錄於 1989 年的專輯《真的見證》。此曲原本由麥潔文主唱,最初以情歌風格編曲, 其後由 Beyond 重新以搖滾風格演繹。因為被認為與六四有關,所以成為中國禁曲 (一說是因為版權的關係,所以無法在中國音樂網站搜尋到此曲)。

  • 灰色軌跡

    這首歌是 1990 年劉德華、吳倩蓮主演的電影《天若有情》的插曲。

  • 光輝歲月

    《光輝歲月》的粵語版是一首讚美南非的非洲人國民大會主席納爾遜·曼德拉的歌曲,以歌頌他在南非種族隔離時期為黑人所付出的努力, 當時曼德拉在監禁 28 年後剛被釋放,光輝歲月表達他的一生。在國語版裡面,這首《光輝歲月》是為激勵年輕人努力拼搏而作, 而當中的種族議題被淡化。

  • Amani

    《Amani》是樂團為呼籲資助非洲難民兒童,呼喚和平而創作的歌曲。

  • 不再猶豫

    《Beyond日記之莫欺少年窮》的主題曲,為 Beyond 的合唱歌曲,同時也是其著名的勵志歌曲。 國語版為《候診室》。

  • 誰伴我闖蕩

    《Beyond日記之莫欺少年窮》的插曲,國語版為《十字路口》。

  • 完全的擁有

    這是鼓手葉世榮在 Beyond 的第一首主唱歌曲,也是黃家駒去世前的惟一一首。

  • 長城

    《長城》由黃家駒作曲及擔當主音、劉卓輝作詞、Beyond 和梁邦彥共同編曲、喜多郎創作前奏;日語版《THE WALL》由真名杏樹填詞; 國語版歌詞由詹德茂改編。粵語版本收錄於Beyond第8張專輯《繼續革命》,並為該大碟之主打歌;日語版本收錄於《超越》,國語版本收錄於《信念》。 黃家駒在一段由香港無綫電視為此曲製作的音樂錄像表示,寫此歌是要「描寫中國人一貫的民族意識」。在歌詞裡,長城反映一個封閉的國度,是強權暴政的產物,是犧牲了無數血肉之軀築成的,然而後人大多只會以它為榮,無視值得反思之處。歌詞是借物描寫這種民族思想和境況,並借古諷今,並非只是寫長城和遠古的中國。 因為被認為與六四有關,以及在香港 2014 「和平佔中」、「雨傘運動」成為抗議者的演唱歌曲,或者被用來影射目前的中國政治, 所以曾經(或者在某一些特別日子)是中國禁曲。

  • 農民

    《農民》原曲為《文武英傑宣言》,而後重新填詞為《農民》,有廣東話和國語部份,內容大抵是描述一個中國農民的生活,如何在艱困的生活中逆境自強。 廣東話和國語的版本卻有著極大不同。廣東話版本是由劉卓輝填詞,是對山區農民生活的影射;而國語版則由姚若龍填詞,內容更為廣泛, 是描述北方人重視固有生活的個性。

  • 不可一世

    Beyond 在香港成名後前經理陳健添就更加變本加厲的密密麻麻安排商業娛樂性重的工作,陳健添還因經理人佣金和分紅和 Beyond 起糾紛, Beyond 早已厭倦陳健添這種為利是圖處處算計的人壓榨逼迫,以及他安排下過的違背意願的奉迎生活, 他們寫的《不可一世》是諷刺逼迫控制他們越緊的經理人陳健添,而不是陳健添口中所說的諷刺電視台高層。 重新填詞的國語版《今天就做》則是表達了一種生活態度。

  • 海闊天空

    《海闊天空》被視為黃家駒最具代表性的遺作,同時也是粵語流行音樂的巅峰之作,收錄在專輯《樂與怒》與國語精選專輯《海闊天空》中。 這首歌是記錄 Beyond 十年心路歷程的歌曲,歌詞承載了黃家駒與樂隊赴日本發展的艱辛與對理想的堅持, 也表達了黃家駒內心深處對香港樂壇的掙扎和失望。曲帶給人們的是一種積極向上的生活態度,堅持自己的理想,永遠不放棄的信念。 當年黃家駒在編寫《海闊天空》一曲時,曾將歌詞其中一句定為「也會怕有一天會跌倒 Oh Yeah」,但黃家強認為意思不對,遂修改為「……Oh No」, 沒料到黃家駒在完成此曲後不足2個月真的意外身亡。

  • 狂人山莊

    收錄在專輯《樂與怒》的硬搖滾作品。在專輯《樂與怒》中 Beyond 嘗試了更多的音樂風格, 但是卻仍然能夠被大多數人欣賞,顯示了 Beyond 成熟且優秀的音樂創作能力, 也因此黃家駒在 1993 年日本節目上意外去世才讓人惋惜。

  • 全是愛

    收錄在《樂與怒》與精選專輯《海闊天空》的作品,我會放這首是因為我喜歡這首歌的前奏。

  • 和平與愛

    Beyond 一首關注第三世界的音樂作品,收錄在《樂與怒》與精選專輯《海闊天空》的作品。

  • 情人

    《情人》是 Beyond 為各自的愛人創作的歌曲,不過該曲作詞人劉卓輝後來稱,這首原本叫《大陸情人》的歌曲, 其實是藉分隔兩地的感情來隱喻內地與香港的關係。

  • 總有愛

    《總有愛》是黃家強在 Beyond 經歷黃家駒去世的打擊後創作的歌曲, 他創作這首歌是為了感謝在 Beyond 最困難的時期依然無悔奉獻、關心支持他們的歌迷朋友。 國語版為《一輩子陪我走》。

  • 教壞細路

    《教壞細路》中的「細路」的意思是小孩子。《教壞細路》直白的揭露了彼時香港媒體的過度商業和虛假, 也因此歌曲一發行 Beyond 就遭到了香港 TVB 的封鎖。


  • 《霧》由黃偉文作詞,黃貫中作曲並演唱,Beyond、黃仲賢、劉志遠共同編曲,收錄在 Beyond 1997 年 12 月由滾石唱片發行的專輯《驚喜》中。 《霧》以流行搖滾的曲調呈現,吉他伴奏有重型的夢幻流行,編曲用格調化的手法。 《霧》的歌詞寫的是愛情,在迷霧中讀不懂、看不清,最後只能感嘆歲月已過。

  • 不見不散

    《不見不散》這張 1998 年發行的專輯流露出三人創作野心,除了 Beyond 3 位成員外,還有邀請樂隊早期成員劉志遠參與, 此專輯出現三人自己的音樂個性。《不見不散》也是同名專輯中的一首歌曲,由黃貫中作詞作曲。

  • 抗戰二十年

    2003 年是 Beyond 成立 20 週年的日子,家強在家駒生前留下的 demo中,選了一首重新製作作為主題曲, 特別之處是歌曲直接用了 demo 中的一段作前奏,由家駒自彈自哼出旋律,到中間其他隊友加入,鑄成四子不可思議的合作。 《抗戰二十年》這首歌與《海闊天空》、《光輝歲月》均被視為 2014 年香港 6.22 民間全民投票、七一大遊行、 學界大罷課與讓愛與和平佔領中環/雨傘革命爭取自由民主的主題歌曲,同時也被一些人認為有暗示六四的歌詞, 所以《抗戰二十年》也是一首中國禁曲。

  • 長空

    《無間道2》的主題曲,也是 Beyond 正式解散前的最後一首歌,該曲獲得第 23 屆香港電影金像獎最佳原創電影歌曲獎。

2024/10/30

Rexx

Rexx (Restructured Extended Executor) 是 Mike Cowlishaw 在 IBM 任職時, 於 1979 年 3 月 20 日到 1982 年中作為個人專案開發的程式語言,而後被 IBM 採用, 主要用於 IBM 的 Mainframe computer 上,而在其它大部份的平台也可以找到解釋器或編譯器。 Rexx 還有物件導向的版本,稱為 Object Rexx。

自由軟體的實作主要為符合 1996 年 ANSI 標準實作的 Regina Rexx Interpreter, 加入物件導向程式設計的 Open Object Rexx, 以及與 Java 整合的 NetRexx。 我在學習時使用的是 ooRexx。

Rexx 是一個不區分大小寫 (Case-insensitive) 的程式語言。

下面就是 Rexx 版的 Hello World 程式:

/* Main program */ 
say "Hello, World!"

就如同上面的例子所看到的,Rexx 的註解使用 /**/,中間的文字就是註解要寫的說明。

Variables

In Rexx, all variables are bound with the '=' statement. Variables in Rexx are typeless, and initially are evaluated as their names, in upper case. Thus a variable's type can vary with its use in the program:

say hello /* => HELLO */
hello = 25
say hello /* => 25 */
hello = "say 5 + 3"
say hello /* => say 5 + 3 */
interpret hello /* => 8 */
drop hello
say hello /* => HELLO */

Rexx has no direct support for arrays of variables addressed by a numerical index. Instead it provides compound variables. A compound variable consists of a stem followed by a tail. A . (dot) is used to join the stem to the tail. If the tails used are numeric, it is easy to produce the same effect as an array.

do i = 1 to 10
    stem.i = 10 - i
end

do i over stem.
    say i '-->' stem.i
end

ooRexx 提供了 do over 的方式可以用來迭代 stem 內的值(注意:這不是 REXX 標準所規範的語言特性)。

Control Structures

對於迴圈而言,Rexx 提供了 do loop, do while loop 與 do until loop 等方式。

do while [condition]
  [instructions]
end
do until [condition]
  [instructions]
end

Like most languages, Rexx can loop while incrementing an index variable and stop when a limit is reached:

do index = start [to limit] [by increment] [for count]
  [instructions]
end

Rexx permits counted loops, where an expression is computed at the start of the loop and the instructions within the loop are executed that many times:

do expression
  [instructions]
end

Rexx can even loop until the program is terminated:

do forever
  [instructions]
end

Like PL/I, Rexx allows both conditional and repetitive elements to be combined in the same loop:

do index = start [to limit] [by increment] [for count] [while condition]
  [instructions]
end
do expression [until condition]
  [instructions]
end

下面是一個迴圈的例子:

/* Main program */ 
do i = 1 to 9 by 1
    do j = 1 to 9 by 1
        say i 'x' j '=' i*j
    end
end

對於條件判斷來說,Rexx 提供了 ifselect 等方式。

if [condition] then do
  [instructions]
  end
else do
  [instructions]
end

For single instructions, DO and END can also be omitted:

if [condition] then
  [instruction]
else
  [instruction]

SELECT is Rexx's CASE structure.

select
  when [condition] then
  [instruction] or NOP
  when [condition] then
  do
  [instructions] or NOP
  end
  otherwise
  [instructions] or NOP
end

The NOP instruction performs "no operation", and is used when the programmer wishes to do nothing in a place where one or more instructions would be required.

下面是使用 select 的例子:

/* Main program */
say "Enter your temperature in degrees Celsius:"
pull degrees

select
    when DataType(degrees) \= "NUM" then
        say "That's not a number. I can't help you."
    when degrees < 36.5 then
        say "Your body temperature is a bit low."
    when degrees > 37.5 then
        say "I think you have a fever."
    otherwise
        say "You're temperature seems normal."
end

Write a program that displays the digits from 1 to n then back down to 1; for instance, if n = 5, the program should display 123454321. You are permitted to use only a single for loop. The range is 0 < n < 10.

/* Main program */
parse arg n

if DataType(n) \= "NUM" then do
    say "That's not a number."
    exit
end


if n < 1 | n > 9 then do
    say "Out of range."
    exit
end

select
    when n == 1 then
        say "1"

    when n == 2 then
        say "121"

    when n == 3 then
        say "12321"

    when n == 4 then
        say "1234321"

    when n == 5 then
        say "123454321"

    when n == 6 then
        say "12345654321"

    when n == 7 then
        say "1234567654321"

    when n == 8 then
        say "123456787654321"

    when n == 9 then
        say "12345678987654321"

    otherwise
        say "Please input 0 < n < 10"
end

exit

使用迴圈的解法:

/* Main program */
parse arg n

if DataType(n) \= "NUM" then do
    say "That's not a number."
    exit
end


if n < 1 | n > 9 then do
    say "Out of range."
    exit
end

positive = 1
count = 0
do forever
    if positive == 1 then do
        count = count + 1
        call charout , count
        if count == n then do
            positive = 0
            iterate
            end
        end
    else do
        count = count - 1
        if count > 0 then
            call charout , count
        else
            leave    
    end
end
say

exit

下面是一個簡單的猜測數字遊戲:

/* A guess number game */
the_number = random(1, 1000)

do forever
    call charout , 'Please input a number: '
    pull the_guess

    if the_number = the_guess then do
        say 'You guesses it!'
        leave
        end
    else if the_number > the_guess then do
        say 'Please guess more higher'
        iterate
        end
    else do
        say 'Please guess more lower'
        iterate
    end
end

exit

Numbers

Rexx 一般而言預設處理的位數為 9(或者使用 digits() function 取得目前的設定)。 因此如果在程式使用的位數超過預設值,需要使用 numeric digits 設定。

numeric digits 12

Subroutines

Rexx 的程式可以分割為 function 或者是 subroutine,二者的差別在於 function 一定會傳回回傳值, 而 subroutine 沒有(或者說不一定有)回傳值。

下面是一個 function 的例子:

/* Main program */ 
say add(5,6) 
exit 

add: 
PARSE ARG a,b 
return a + b

下面是 recursive function 的例子:

/* Main program */ 
do n = 1 to 5 
    say 'The factorial of' n 'is:' factorial( n ) 
end 
return  

/* Function to get factorial */ 
factorial: procedure 
n = arg(1) 
if n = 1 then 
    return 1
return n * factorial( n - 1 )

我們可以使用 call statements 來呼叫 subroutine。如果呼叫之後有回傳值返回,可以使用 RESULT 變數取得其值。

/* Main program */
call subr
exit 0

subr:
say 'You are inside internal subroutine.'
return

如果要取得參數的數目,可以使用 arg() 取得。

/* Main program */ 
call add 1, 2 
exit

add: 
PARSE ARG a,b 
say 'Arg number:' arg() 
c = a + b 
say 'Result:' c
return

File IO

下面是讀取檔案的例子,一行一行的從 /etc/os-release 讀出資料,然後判斷目前 Linux distribution 的名稱。

/* Main program */
filename = '/etc/os-release'
do while lines(filename) > 0  
    line_str = linein(filename)
    parse var line_str key "=" value
    
    if compare(key, 'NAME') == 0 then do
        say value
        leave
    end
end

System Commands

REXX 支援執行外部程式的能力,下面是一個例子:

/* Main program */ 
'ls'
if rc == 0 then 
    say 'The command executed successfully' 
else 
    say 'The command failed, The error code is =' rc

再來是另外一個例子,1-9位數不重複印出來的練習問題,
使用者輸入1 印1-9
使用者輸入2 印1-98 (11, 22, 33等重複的不印)
使用者輸入3 印1-987 (121, 988, 667等有重複的不印):

call charout , 'Please input a number: '
pull num

if num < 1 | num > 9 then do
    say "Out of range."
    exit
end

'seq '10**num - 1 '| egrep -v "([0-9]).*\1"'

To send a command to a specific environment, use this format of the address instruction:

address environment expression

下面就是一個使用的例子:

address system 'ls'

address 也可以作為輸入與輸出的重新導向的設定(input, output 與 error),下面是一個例子:

/* Main program */ 
address system 'ls' with output stem files.

do i = 1 to files.0
    say files.i
end

在上面的例子中,輸出的結果將會放到 files. 這個 compound variable 中, 而 files.0 會記錄結果的數目。

下面則是從 /etc/os-release 檔案取得內容,然後輸出到 compound variable 的例子。

/* Main program */ 
address system 'cat' with input stream '/etc/os-release' output stem files.
do i = 1 to files.0
    say files.i
end

參考資料

2024/08/17

MonetDB

MonetDB is an open-source column-oriented relational database management system (RDBMS) originally developed at the Centrum Wiskunde & Informatica (CWI) in the Netherlands. It is designed to provide high performance on complex queries against large databases, such as combining tables with hundreds of columns and millions of rows.

MonetDB architecture is represented in three layers, each with its own set of optimizers. The front end is the top layer, providing query interface for SQL. Queries are parsed into domain-specific representations, like relational algebra for SQL, and optimized. The generated logical execution plans are then translated into MonetDB Assembly Language (MAL) instructions, which are passed to the next layer. The middle or back-end layer provides a number of cost-based optimizers for the MAL. The bottom layer is the database kernel, which provides access to the data stored in Binary Association Tables (BATs). Each BAT is a table consisting of an Object-identifier and value columns, representing a single column in the database.

MonetDB internal data representation also relies on the memory addressing ranges of contemporary CPUs using demand paging of memory mapped files, and thus departing from traditional DBMS designs involving complex management of large data stores in limited memory.


使用 RPM 安裝以後,使用下列的方式開啟資料庫服務:

sudo systemctl start monetdbd.service

使用下列的方式查詢目前的狀態:

sudo systemctl status monetdbd.service

使用下列的方式停止服務:

sudo systemctl stop monetdbd.service

下面建立一個 demo 資料庫。

sudo monetdb create demo

還需要 release 才能夠使用:

sudo monetdb release demo

然後就可以使用 mclient 連線進行測試:

mclient -u monetdb -d demo

一般而言可以將 user/password 記錄在 .monetdb 中,這樣就不需要輸入帳號密碼,只需要提供資料庫名稱。 下面是內容設定的例子:

user=monetdb
password=monetdb

如果想要刪除資料庫,可以使用 stop 與 destroy:

sudo monetdb stop demo
sudo monetdb destroy demo

使用下列的指令建立一個使用者 danilo:

CREATE USER "danilo" WITH PASSWORD 'danilo' NAME 'Danilo' SCHEMA "sys";
CREATE SCHEMA "danilo" AUTHORIZATION "danilo";
ALTER USER "danilo" SET SCHEMA "danilo";

使用 mclient 連線驗證:

mclient -u danilo demo

MonetDB/e Embedded

MonetDB/e is the embedded version of MonetDB, embed the power of an analytical SQL database engine in your Python or C/C++ applications.

相關連結

2024/08/15

NoSQL (Not only SQL)

一個資料庫在最基礎的層次上需要完成兩件事情:當你把資料交給資料庫時,它應當把資料儲存起來;而後當你向資料庫要資料時,它應當把資料返回給你。

如果要了解 SQL 為什麼重要,我們需要從 NoSQL (Not only SQL) 開始出發。NoSQL 其實是資料庫使用觀念的復古運動、正確觀念的復興運動。 也就是關聯式資料庫並不是唯一且最適的解法,要根據資料的使用特性,選擇適當的儲存機制,所謂的 NoSQL (Not only SQL)。

規模可伸縮性優先考慮是那些必須具備無限可伸縮性的應用,能夠不受限制的擴展比更豐富的功能更加重要。 這些應用包括很多需要高可伸縮性的網站,如 Facebook。 有些網站使用了關聯型資料庫系統,而有些並未採用之。 這些服務的共通性在於對規模可伸縮性的需求比功能更重要,他們無法將應用使用一個單一 RDBMS 解決。 因此,要怎麼處理資料仍然是要不要採用 NoSQL 資料庫的重點(傳統 row-based 的 RDBMS 也有叢集的解決方案, 只是擴張節點相對於某些類型 NoSQL 資料庫而言,比較沒有彈性,不過目前分散式的 RDBMS 解決方案已經出現並且已經有應用實例), 而不是因為某個 NoSQL "awesome" 所以採用,使用了錯誤的資料模型在專案上將容易導致專案的失敗。

比較流行的 NoSQL 資料庫有下列的形式:

  • Key/Value store: map (key, value),是一種簡單的資料模型,適用的情況通常是作為 cache 使用。
  • Document-store: The central concept of a document store is the notion of a "document". 目前比較常見的是 JSON 和 XML 文件。文件模式的資料庫在處理關聯性時反而比較弱, 因為文件應該是 self-contained 的,所以資料之間會有關聯性的情況下儘量不要考慮這個資料模型。
  • Wide column store: For software developers, it can sometimes be helpful to think of them as a key-value collection where each value in the collection is either a simple data type or another key-value collection. For example: map (key, map (key, value)),與傳統的 RDBMS 資料庫(例如 PostgreSQL, CUBRID, MariaDB, MySQL)相比, 適用的範圍是需要良好的可伸縮性與大量資料範圍查詢時的情況。 另外,就是可能會有一個解決方案是使用 SQL 或者是類似的查詢語言來處理與管理 Wide column store 的資料。
  • Graph: This kind of database is designed for data whose relations are well represented as a graph (elements interconnected with an undetermined number of relations between them), 適用於多對多關係(例如社群網站)的情況。與其它模式相比,資料模式十分複雜。 但是注意,多對多關係也不一定只能使用 Graph 資料庫,例如臉書一開始是使用 MySQL 實作。
  • Search Engines:搜尋引擎並不是資料庫,但是可以用來檢索資料並且作為資料庫的輔助工具。 有些搜尋引擎結合文件資料庫或者是 RDBMS 而成為一個完整的資料庫產品。

關聯式資料庫一般而言可以分為二個類型, OLTP (Online transaction processing) 與 OLAP (Online analytical processing), 當然也有試著融合二者的 HTAP 資料庫,不過一般而言還是按照 OLTP 與 OLAP 來分類。 NoSQL 資料庫的使用情況也可以按照這二個類型來分類。

SQL 是為了存取或操作關聯式資料庫所設計的語言。SQL 的出現,解決了以往程式與資料庫相依性過高的問題, 透過 SQL 存取資料庫使得後端資料庫較容易更換(雖然有語法上的相容問題,還是比 NoSQL 資料庫之間的切換簡單), 因此達成資料庫的獨立性,而前端的介面也可獨立使用不同的開發工具。如此將資料層分離出來,儲存到資料庫伺服器, 對於維護與安全都更有保障。

對我來說,過度強調 RDBMS 缺乏良好的可伸縮性是一種 FUD (Fear, Uncertainty, Doubt), 如果一個 RDBMS 其儲存層是建立在分布式系統之上,而且使用 Raft 算法來解決一致性的問題, 那就你就有一個具有良好的可伸縮性的 RDBMS,例如 TiDB。 另外,有一些 SQL solution 使用了 NoSQL 資料庫作為存儲層(雖然有可能不支援或者是僅是有限度的支援 transaction, 不過也不是所有的關聯式資料庫都支援 transaction,一些 OLAP 類型的可能就不支援), 例如 Apache Phoenix 就是建立在 Apache HBase 之上,在這個情況下使用者一樣可以使用 SQL 語言存取 NoSQL 資料庫。

並不是 NoSQL 資料庫就表示有良好的可伸縮性,至少以我所認知的各種資料庫來說, 一般而言為 Wide column store 具有良好的可伸縮性(也就是 Apache HBase 與 Apache Cassandra,以及其它類似技術的資料庫), 其餘形式的資料庫大多數也都是使用傳統 RDBMS 橫向拓展的方法,在可伸縮性這點而言並未具有優勢明顯。 因此對比 RDBMS 來說,NoSQL 資料庫通常是為了解決一些特定的問題而使用,缺點就是程式與資料庫相依性過高(有可能造成被廠商綁定的問題), 缺少一部份 RDBMS 提供的功能而需要自己再造一次輪子,以及安全性上的考量。大部份的情況下還是應該先考慮 RDBMS 是否可以適用。

最後一點,就是用 SQL 代稱某種類型的資料庫是不夠好的說法,畢竟 SQL 是一個查詢語言,因此不應該作為某種資料庫的代稱。 就我個人來說,SQL 這個查詢語言是個很好用的工具,而目前的發展也證明他是個歷久彌新的查詢語言。

CUBRID database

CUBRID 是一個開放原始碼的關係資料庫管理系統, 為高效執行線上交易處理進行了高度優化,特別是需要處理大數據量和高並發請求的複雜商務服務, 支援 Windows 與 Linux 平台。 CUBRID 這個名稱,實際上是兩個單詞的組合:"Cube"(立方體)和"Bride"(橋梁)。 對 CUBRID 而言,"Bride"代表"data bridge"(數據橋), 而"Cube"代表儲存數據的盒子,寓意為放在其中的數據提供安全。

CUBRID 架構特別的地方是加入了 Broker 的設計,Broker 是一個 middleware, 用來處理應用程式與資料庫 server 之間的連線。 會這麼設計的原因是因為 CUBRID 原本是南韓 Naver(Naver 為南韓搜尋引擎龍頭)的內部計畫, 用來取代內部的 Oracle 資料庫以節省資料庫方面日益增加的授權費用, 為了能夠順利過渡,所以加入了 Broker 的設計,而後才公開資料庫的原始碼並成為一個開放原始碼計畫 (Naver 也只有開放 Broker 關於 CRBRID 方面的原始碼)。


CUBRID 使用 NCurses 5 library,如果是已經升到 6 的系統可以安裝相容 ABI 的函式庫,openSUSE Tumbleweed 安裝的指令如下:

sudo zypper in libncurses5

在官網上下載安裝程式以後安裝(我目前使用 11.3),我是安裝在自己的家目錄下。然後使用下列的指令設定環境變數。
如果是使用 sh, bash 或者是 zsh:

source .cubrid.sh

如果是使用 csh 或者是 tcsh:

source .cubrid.csh

如果要啟動 CUBRID 的服務,使用下列的指令:

cubrid service start

如果要停止 CUBRID 的服務,使用下列的指令:

cubrid service stop

在安裝目錄下的 databases 建立一個目錄 testdb,使用下列的指令建立新的資料庫 testdb:

cubrid createdb testdb en_US.utf8

如果需要刪除資料庫,使用下列的指令:

cubrid deletedb testdb

如果要在 database server 開始的時候指定要使用的資料庫,可以這樣執行指令:

cubrid server start testdb

或者是修改 conf 目錄下的 cubrid.conf,加入下面的設定:

# The list of database servers in all by 'cubrid service start' command.
# This property is effective only when the above 'service' property contains 'server' keyword.
server=testdb

(如果使用設定 cubrid.conf 的方式,就不用使用 cubrid server start,而是在 cubrid service start 時就會跟著啟動 server。)


CUBRID 提供了 csql 工具可以用來下達命令。使用 CSQL 連到 testdb 資料庫(使用 dba 帳號):

csql -u dba testdb

管理帳號 dba 預設的密碼為空白,如果想要設置一個密碼,下面是一個範例:

alter user dba password 'dba';

下面是新增一個使用者與設定其密碼的例子:

CREATE USER danilo;
ALTER USER danilo PASSWORD 'danilo';

相關連結

2024/06/15

星海爭霸

《星海爭霸》 (StarCraft) 是由暴雪娛樂製作發行的即時戰略遊戲,於 1998 年 3 月 31 日正式發行。 遊戲有一部資料片,為《星海爭霸:怒火燎原》(StarCraft: Brood War)。

遊戲描述了26世紀初期,位於銀河系中心的三個種族在克普魯星際空間中爭奪霸權的故事。三個種族分別是:地球人的後裔人族(Terran)、 一種進化迅速的生物群體蟲族(Zerg),以及一支高度文明並具有心靈力量的遠古種族神族(Protoss)。

《星海爭霸》使用了二項資源,Minerals 與 Vespene Gas。

三族提供人口數的建築或者是單位: Terran - Command Center 與 Supply Depot、Zerg - Hatchery 與 Overlord、 Protoss - Nexus 與 Pylon。 而 Pylon 有個重要的地方,除了 Nexus 與 Pylon 本身,大多數的建築都需要在 Pylon 能量範圍內才能夠建造。

在 1.15.2 的更新 Patch 新增了免光碟功能,Windows 平台的 StarCraft 玩家將 CD 裡頭的 install.exe 複製到安裝目錄下, 並重新命名為 StarCraft.mpq,BroodWar 玩家將 CD 裡頭的 install.exe 複製到安裝目錄下,並重新命名為 BroodWar.mpq, 這樣就完成免光碟的功能。1.17 版則是最後一個可以離線安裝的版本。

《星海爭霸重製版》於 2017 年 8 月15 日正式發售。舊版本的星海爭霸在 2017 年 4 月 19 日開始成為免費遊戲。

Detection

《星海爭霸:怒火燎原》因為引進了新單位 Dark Templar (Protoss) 與 Lurker (Zerg), 所以能夠偵測隱形以及遁地的能力比在原版的星海爭霸中更重要,同時也加快了遊戲的節奏。

Protoss

  • Photon Cannon
  • Observer

Terran

  • Comsat Station
  • Missile Turret
  • Science Vessel

Zerg

  • Spore Colony
  • Overlord

2024/04/28

uHex

uHex 是一個簡單的 hex editor, 原本是 DOS 下的應用程式,但是也可以在支援 POSIX 標準並且有安裝 NCurses 函式庫開發檔案的環境編譯。 主要用來作為觀看二進位檔案以及進行簡單的搜尋與編輯。

因為是個小工具,所以在 Linux 系統我自己採用自行編譯的方式。

下面就是他的操作按鍵:
ALT+H - Help (F1 works too)
ALT+J - Jump to offset
ALT+F - Find an ASCII or HEX string occurence
ALT+S - Save file, applying all modifications
ALT+U - Undo all modifications (reverts the file from disk)
ESC - Quit uHex

2024/04/26

DOSBos

DOSBos 是用於執行適用 MS-DOS 相容作業系統的模擬器 (主要的執行目標是遊戲軟體)。

下面是在 openSUSE Tumbleweed 安裝的指令:

sudo zypper in dosbox

要注意的是,openSUSE Tumbleweed 目前所使用 DOSBox 版本為 DOSBox Staging, 這是自 DOSBox 衍生的一個開發版本,其設定檔案在家目錄下的 .config/dosbox/dosbox.conf。

在按鍵部份,如果要切換到 full-screen(或者是切換回來),使用下列的按鍵組合: ALT-ENTER
如果要關閉 DOSBos: CTRL-F9
捕抓或者是釋放滑鼠: CTRL-F10

我習慣建立一個 DOSBox 目錄作為 c:

[autoexec]
# Lines in this section will be run at startup.
# You can put your MOUNT lines here.
MOUNT C /home/danilo/DOSBox/C -freesize 10240
c:

下面是其它的設定:
fullresolution = original
output = openglnb
memsize = 64
aspect = stretch
gus = false
(openSUSE Tumbleweed 的預設值 gus 是 true,需要設為 false,不然音訊輸出會不正常)

如果要掛載一個 iso 檔案,下面是一個例子:

imgmount d "/home/danilo/DOSBox/ISO/MyISO.iso" -t iso

2024/04/22

PostgreSQL

PostgreSQL是一個開源的物件型關聯式資料庫管理系統,在類似 BSD 授權與 MIT 授權的 PostgreSQL 授權下發行。

Install on openSUSE Tumbleweed

如果不是首次安裝而是升級,需要使用 pg_dump 執行 dump the databases,先對目前的資料進行備份。

首先是安裝(在這裡是 PostgreSQL 16):

sudo zypper install postgresql16-server postgresql16 postgresql16-devel \
postgresql16-contrib postgresql-devel
如果需要設定 postgres 的密碼,
sudo passwd postgres
先切換到 root,再切換到 postgres,
sudo su postgres
然後 init database:
/usr/bin/initdb /var/lib/pgsql/data
如果要手動開啟服務,使用:
/usr/bin/pg_ctl -D /var/lib/pgsql/data -l logfile start
關閉:
/usr/bin/pg_ctl -D /var/lib/pgsql/data -l logfile stop
或者是使用下列的方式開啟服務:
sudo service postgresql start
關閉服務:
sudo service postgresql stop

如果要開機的時候就啟動服務,使用:
sudo chkconfig postgresql on
如果不要,使用:
sudo chkconfig postgresql off

安裝完成以後,可以使用 psql postgres (使用者登入要使用 postgres)來確定目前的設定檔:
SHOW config_file;
目前的 server 版本:
SHOW server_version;
如果要使用 psql 列出目前的 database,使用 \l 命令:
\l
如果要查詢目前的使用者連線:
SELECT * FROM pg_stat_activity;
Digging into the currently opened database in psql one can use the \d command.
\d

Add user to PostgreSQL

如果要使用指令增加使用者和資料庫(需要切換使用者身份到 postgres):
createuser danilo

使用 PostgreSQL SQL shell (psql) 增加使用者。

1. Add a user called danilo

Type the following command to create a user called danilo with a password called danilo:
template1=# CREATE USER danilo WITH PASSWORD 'danilo';

2. Add a database called danilo

Type the following command:
template1=# CREATE DATABASE danilo WITH OWNER danilo ENCODING 'UTF8';

3. Now grant all privileges on database

template1=# GRANT ALL PRIVILEGES ON DATABASE danilo to danilo;


如果要改使用者密碼,下面是 user danilo 的範例:
template1=# ALTER USER "danilo" WITH PASSWORD 'danilo';

或者是使用下列的方式設定 postgres:
template1=# \password postgres

要讓密碼生效,要修改 /var/lib/pgsql/data (或者是指定的 PostgreSQL DATADIR) 目錄下的 pg_hba.conf。 預設的認證方式為 trust,這表示不會做任何的密碼檢查,如果要開啟密碼檢查, 要把 trust 改為 scram-sha-256 或者是其它的認證方式(例如 md5 或者是 peer)。

如果設為 peer 就只會讓 local 同樣的 username 連線。
在需要讓其它的本機使用者連線的情況下,可以改為 scram-sha-256,下面是一個例子:

# "local" is for Unix domain socket connections only
local   all             all                                     scram-sha-256
# IPv4 local connections:
host    all             all             127.0.0.1/32            scram-sha-256
# IPv6 local connections:
host    all             all             ::1/128                 scram-sha-256

如果想知道目前的 username 與 password,可以使用 psql 查詢 pg_shadow 以後列出來:

psql -Atq -U postgres -d postgres -c "SELECT concat('\"', usename, '\" \"', passwd, '\"') FROM pg_shadow"

如果要查詢目前的使用者列表:

\du

如果要設定某一個使用者為 Superuser:

ALTER USER danilo WITH SUPERUSER;

如果要設定某一個使用者為 No Superuser

ALTER USER danilo WITH NOSUPERUSER;

Configuration

PostgreSQL uses three main configuration files to control overall operations. You can find these files in the initialized data cluster (the folder specified during the initialization process using initdb -d).

如果查詢 source code,我們發現 PostgreSQL 設定來源有14種,如default、environment variable、configuration file、client等,具體如下:
const char *constGucSource_Names[] =
{
        /* PGC_S_DEFAULT */ "default",
        /* PGC_S_DYNAMIC_DEFAULT */ "default",
        /* PGC_S_ENV_VAR */ "environment variable",
        /* PGC_S_FILE */ "configuration file",
        /* PGC_S_ARGV */ "command line",
        /* PGC_S_GLOBAL */ "global",
        /* PGC_S_DATABASE */ "database",
        /* PGC_S_USER */ "user",
        /* PGC_S_DATABASE_USER */ "database user",
        /* PGC_S_CLIENT */ "client",
        /* PGC_S_OVERRIDE */ "override",
        /* PGC_S_INTERACTIVE */ "interactive",
        /* PGC_S_TEST */ "test",
        /* PGC_S_SESSION */ "session"
};

如果無法確定設定的來源,可以使用下列的 SQL 述句查詢:

select name, setting, source from pg_settings;

There are several different types of configuration settings, divided up based on the possible inputs they take

  • Boolean: true, false, on, off
  • Integer: Whole numbers (2112)
  • Float: Decimal values (21.12)
  • Memory / Disk: Integers (2112) or "computer units" (512MB, 2112GB). Avoid integers--you need to know the underlying unit to figure out what they mean.
  • Time: "Time units" aka d,m,s (30s). Sometimes the unit is left out; don't do that
  • Strings: Single quoted text ('pg_log')
  • ENUMs: Strings, but from a specific list ('WARNING', 'ERROR')
  • Lists: A comma separated list of strings ('"$user",public,tsearch2)

下面 14 個項定項目是大多數的使用者可能會需要設定的項目:

  1. listen_address
  2. max_connections
  3. shared_buffers
  4. work_mem
  5. maintenance_work_mem
  6. max_fsm_pages
  7. synchronous_commit
  8. checkpoint_segments
  9. wal_buffers
  10. autovacuum
  11. effective_cache_size
  12. default_statistics_target
  13. constraint_exclusion
  14. log_destination & log settings

之所以需要設定一些項目的理由,在於根據自己機器的狀況設定更好的設定值, 可以讓 PostgreSQL 執行的更好。

Each backend process allocates a local memory area for query processing; each area is divided into several sub-areas – whose sizes are either fixed or variable.

  • work_mem: Executor uses this area for sorting tuples by ORDER BY and DISTINCT operations, and for joining tables by merge-join and hash-join operations.
  • maintenance_work_mem: Some kinds of maintenance operations (e.g., VACUUM, REINDEX) use this area.
  • temp_buffers: Executor uses this area for storing temporary tables.

A shared memory area is allocated by a PostgreSQL server when it starts up. This area is also divided into several fix sized sub-areas.

  • shared buffer pool: PostgreSQL loads pages within tables and indexes from a persistent storage to here, and operates them directly.
  • WAL buffer: To ensure that no data has been lost by server failures, PostgreSQL supports the WAL mechanism. WAL data (also referred to as XLOG records) are transaction log in PostgreSQL; and WAL buffer is a buffering area of the WAL data before writing to a persistent storage.
  • commit log: Commit Log(CLOG) keeps the states of all transactions (e.g., in_progress,committed,aborted) for Concurrency Control (CC) mechanism.

如果要查詢目前的設定,可以使用下面的命令:

SHOW ALL;

如果要查詢單項,以 work_mem 來說:

show work_mem;
或者是查詢 pg_settings (a “system view” can be queried),
SELECT * FROM pg_settings WHERE name = 'work_mem';

All these can be edited with a text editor.

File Purpose
postgresql.conf Controls the listening port, IP, and default query planner settings, memory settings, path settings, and logging settings. Can be queried via pg_settings database view.
pg_hba.conf Controls the authentication models used by PostgreSQL and can be set per user, per database, per IP range, or a combination of all.
pg_indent.conf Controls mapping of an OS user to a PostgreSQL user.

postgresql.conf

The following settings are all located in the postgresql.conf file. Remember that these are default settings; many of these you can choose to override for each session, for each database, or for each user/role.

Option Description
listen_addresses Use ‘*’ to listen on all IPs of the server, ‘localhost’ to listen on just local, or a comma separated list of IPs to listen on. Requires service restart if changed and can only be set globally.
port Defaults to 5432, but can be changed to allow multiple postgresql daemon clusters/versions to coexist using same IP but different ports.
search_path List of default schemas that don’t need schema qualification. First schema is where non-schema qualified objects are created.
constraint_exclusion Options: on, off, or partial. Partial was introduced in 8.4 and is the new default. Allows planner to skip over tables if constraint ensures query conditions cannot be satisfied by the table. Mostly used for table partitioning via table inheritance.
shared_buffers Controls how much memory is allocated to PostgreSQL and shared across all processes. Requires service restart and can only be set globally.

In PostgreSQL 9.4, a new SQL construction ALTER SYSTEM was introduced that allows you to set these settings at the system level without editing the postgresql.conf. For many, you still need to do a service restart and for others at least a:

SELECT pg_reload_conf();

pg_hba.conf

PostgreSQL supports many authentication schemes to control access to the database. The pg_hba.conf file dictates which schemes are used based on the rules found in this file. You can mix and match various authentication schemes at the same time. The rules are applied sequentially such that the first match fitting a connection is the one that is used. This is important to remember because if you have a more restrictive rule above a less restrictive, then the more restrictive is the one that trumps.

The most commonly used authentication schemes are trust (which allows connections without a password) and md5 (which authenticates with md5 encrypted passwords). Others include: reject, crypt, password (this is plain text), krb5, ident (authenticate simply by identity of user in OS), pam, and ldap.


如果我們需要每個 query 的執行時間,可以在 psq 使用下列的命令開啟設定(預設值有可能是關閉):
\timing

Tools

PostgreSQL comes bundled with several tools useful for administration and query writing.

Tool Description
psql Command-line client packaged with PostgreSQL. Good for automating SQL jobs, copying data, outputing simple HTML reports.
createdb, dropdb For creating and dropping a database from the OS shell.
pgAdminIII Popular graphical user interface packaged with PostgreSQL.
pg_restore Command-line tool for restoring compressed or .tar backups.
pg_dump Command-line tool for doing backups. Great for automated backups.
pg_dumpall Command-line tool for dumping all databases into a single backup.
pgAgent A daemon/service that can be downloaded from http://www.pgadmin.org/download/pgagent.php. Used for scheduling SQL jobs and batch shell jobs. Jobs can be added easily and monitored using the PgAdmin III job interface.
pg_basebackup Used for doing filesystem hot backup of db data cluster.
pg_upgrade Used for updating in place from one major version of PostgreSQL to another.

SQL statement

Auto-increment column

PostgreSQL 並不支援標準語法,而是提供一個自己實作的近似語法:
CREATE TABLE t1 (col1 SERIAL PRIMARY KEY);

UPSERT

在 PostgreSQL 15 之前 PostgreSQL 的 UPSERT 語法並未採用標準的 merge,而是使用自己實作的語法。 不過在 PostgreSQL 15 開始,就已經支援 SQL 的 merge 語法。

舉例來說,我們建立下面一個表格:

create table notes (title varchar(255), body text, modified timestamp, primary key(title));
於是可以使用 ON CONFLICT DO UPDATE SET 方式來決定是要 update 或者是 insert(PS. 舉例是用 GOLANG 的常數宣告):
        const insertString = `
              insert into notes (title, body, modified)
              values($1, $2, now()) ON CONFLICT (title)
              DO UPDATE SET (body,modified) = (EXCLUDED.body,now())`

Views

You can create a view over the query, which gives a name to the query that you can refer to like an ordinary table:
CREATE VIEW myview AS
    SELECT city, temp_lo, temp_hi, prcp, date, location
        FROM weather, cities
        WHERE city = name;

SELECT * FROM myview;

Making liberal use of views is a key aspect of good SQL database design. Views allow you to encapsulate the details of the structure of your tables, which might change as your application evolves, behind consistent interfaces.

Foreign Keys

Foreign Keys 是維護你資料的 referential integrity 的方法,當插人一個新資料的時候,確定參考的資料是存在的。

下面是一個使用的範例:
CREATE TABLE cities (
        city     varchar(80) primary key,
        location point
);

CREATE TABLE weather (
        city      varchar(80) references cities(city),
        temp_lo   int,
        temp_hi   int,
        prcp      real,
        date      date
);

Unique Constraints

Unique constraints ensure that the data contained in a column, or a group of columns, is unique among all the rows in the table. The syntax is:

CREATE TABLE products (
product_no integer UNIQUE,
name text,
price numeric
);
when written as a column constraint, and:
CREATE TABLE products (
product_no integer,
name text,
price numeric,
UNIQUE (product_no)
);

Transactions

In PostgreSQL, a transaction is set up by surrounding the SQL commands of the transaction with BEGIN and COMMIT commands.

By default (without BEGIN), PostgreSQL executes transactions in "autocommit" mode, that is, each statement is executed in its own transaction and a commit is implicitly performed at the end of the statement (if execution was successful, otherwise a rollback is done).

Window Functions

A window function performs a calculation across a set of table rows that are somehow related to the current row. This is comparable to the type of calculation that can be done with an aggregate function. But unlike regular aggregate functions, use of a window function does not cause rows to become grouped into a single output row — the rows retain their separate identities. Behind the scenes, the window function is able to access more than just the current row of the query result.

A window function call always contains an OVER clause directly following the window function's name and argument(s). This is what syntactically distinguishes it from a regular function or aggregate function. The OVER clause determines exactly how the rows of the query are split up for processing by the window function. The PARTITION BY list within OVER specifies dividing the rows into groups, or partitions, that share the same values of the PARTITION BY expression(s). For each row, the window function is computed across the rows that fall into the same partition as the current row.

下面是一個範例:
SELECT depname, empno, salary,
       rank() OVER (PARTITION BY depname ORDER BY salary DESC)
FROM empsalary;
結果:
  depname  | empno | salary | rank
-----------+-------+--------+------
 develop   |     8 |   6000 |    1
 develop   |    10 |   5200 |    2
 develop   |    11 |   5200 |    2
 develop   |     9 |   4500 |    4
 develop   |     7 |   4200 |    5
 personnel |     2 |   3900 |    1
 personnel |     5 |   3500 |    2
 sales     |     1 |   5000 |    1
 sales     |     4 |   4800 |    2
 sales     |     3 |   4800 |    2
(10 rows)

As shown here, the rank function produces a numerical rank within the current row's partition for each distinct ORDER BY value, in the order defined by the ORDER BY clause. rank needs no explicit parameter, because its behavior is entirely determined by the OVER clause.

The rows considered by a window function are those of the "virtual table" produced by the query's FROM clause as filtered by its WHERE, GROUP BY, and HAVING clauses if any. For example, a row removed because it does not meet the WHERE condition is not seen by any window function. A query can contain multiple window functions that slice up the data in different ways by means of different OVER clauses, but they all act on the same collection of rows defined by this virtual table.

Inheritance

Inheritance is a concept from object-oriented databases. It opens up interesting new possibilities of database design.

下面是一個使用的範例:
CREATE TABLE cities (
  name       text,
  population real,
  altitude   int     -- (in ft)
);

CREATE TABLE capitals (
  state      char(2)
) INHERITS (cities);
當你查詢的時候,會列出 cities 和 capitals 的結果,如果只要 cities 的部份,下面是一個使用的範例:
SELECT name, altitude
    FROM ONLY cities
    WHERE altitude > 500;

WITH Queries (Common Table Expressions)

WITH 是用來建立暫存的資料集,稱為通用資料表運算式 CTE (common table expression) 的暫存具名結果集。 通用資料表運算式可以包括指向本身的參考。 這稱為遞迴通用資料表運算式。

下面的資料來自於 PostgreSQL 網站

In PostgreSQL, the WITH query provides a way to write auxiliary statements for use in a larger query. It helps in breaking down complicated and large queries into simpler forms, which are easily readable.

The WITH query being CTE query, is particularly useful when subquery is executed multiple times. It is equally helpful in place of temporary tables.

The optional RECURSIVE modifier changes WITH from a mere syntactic convenience into a feature that accomplishes things not otherwise possible in standard SQL. Using RECURSIVE, a WITH query can refer to its own output. A very simple example is this query to sum the integers from 1 through 100:

WITH RECURSIVE t(n) AS (
    VALUES (1)
  UNION ALL
    SELECT n+1 FROM t WHERE n < 100
)
SELECT sum(n) FROM t;

The general form of a recursive WITH query is always a non-recursive term, then UNION (or UNION ALL), then a recursive term, where only the recursive term can contain a reference to the query's own output. Such a query is executed as follows:

  1. Evaluate the non-recursive term. For UNION (but not UNION ALL), discard duplicate rows. Include all remainingrows in the result of the recursive query, and also place them in a temporary working table.

  2. So long as the working table is not empty, repeat these steps:

    1. Evaluate the recursive term, substituting the current contents of the working table for the recursive self-reference. For UNION (but not UNION ALL), discard duplicate rows and rows that duplicate any previous result row. Include all remaining rows in the result of the recursive query, and also place them in a temporary intermediate table.

    2. Replace the contents of the working table with the contents of the intermediate table, then empty the intermediate table.

Recursive queries are typically used to deal with hierarchical or tree-structured data.
WITH RECURSIVE included_parts(sub_part, part, quantity) AS (
    SELECT sub_part, part, quantity FROM parts WHERE part = 'our_product'
  UNION ALL
    SELECT p.sub_part, p.part, p.quantity
    FROM included_parts pr, parts p
    WHERE p.part = pr.sub_part
  )
SELECT sub_part, SUM(quantity) as total_quantity
FROM included_parts
GROUP BY sub_part

Index

下面是一個建立 index 的範例:
CREATE TABLE test1c (
    id integer,
    content varchar COLLATE "x"
);

CREATE INDEX test1c_content_index ON test1c (content);

GIN and GiST Index Types

There are two kinds of indexes that can be used to speed up full text searches. Note that indexes are not mandatory for full text searching, but in cases where a column is searched on a regular basis, an index is usually desirable.

CREATE INDEX name ON table USING GIN (column);
and:
CREATE INDEX name ON table USING GIST (column);

GIN indexes are the preferred text search index type. As inverted indexes, they contain an index entry for each word (lexeme), with a compressed list of matching locations. Multi-word searches can find the first match, then use the index to remove rows that are lacking additional words. GIN indexes store only the words (lexemes) of tsvector values, and not their weight labels. Thus a table row recheck is needed when using a query that involves weights.

A GiST index is lossy, meaning that the index might produce false matches, and it is necessary to check the actual table row to eliminate such false matches. (PostgreSQL does this automatically when needed.) GiST indexes are lossy because each document is represented in the index by a fixed-length signature. The signature is generated by hashing each word into a single bit in an n-bit string, with all these bits OR-ed together to produce an n-bit document signature. When two words hash to the same bit position there will be a false match. If all words in the query have matches (real or false) then the table row must be retrieved to see if the match is correct.

Lossiness causes performance degradation due to unnecessary fetches of table records that turn out to be false matches. Since random access to table records is slow, this limits the usefulness of GiST indexes. The likelihood of false matches depends on several factors, in particular the number of unique words, so using dictionaries to reduce this number is recommended.

Full Text Search

Full text searching in PostgreSQL is based on the match operator @@, which returns true if a tsvector (document) matches a tsquery (query).

下面是一個使用的例子:
SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector @@ 'cat & rat'::tsquery;
 ?column?
----------
 t

SELECT 'fat & cow'::tsquery @@ 'a fat cat sat on a mat and ate a fat rat'::tsvector;
 ?column?
----------
 f
另外的例子:
SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('fat & rat');
 ?column?
----------
 t
The @@ operator also supports text input, allowing explicit conversion of a text string to tsvector or tsquery to be skipped in simple cases. The variants available are:
tsvector @@ tsquery
tsquery  @@ tsvector
text @@ tsquery
text @@ text
It is possible to do a full text search without an index. A simple query to print the title of each row that contains the word friend in its body field is:
SELECT title
FROM pgweb
WHERE to_tsvector('english', body) @@ to_tsquery('english', 'friend');
PostgreSQL 可以使用 GIN index 來加快 text search 的速度:
CREATE INDEX pgweb_idx ON pgweb USING GIN (to_tsvector('english', body));

UUID

可以安裝 uuid-ossp 模組來處理 UUID。下面是安裝的方式(需要有 Superuser 的權限):

CREATE EXTENSION "uuid-ossp";

於是就可以使用下列的方式生成 UUID:

select uuid_generate_v4();

或者也可以使用下列的方式生成 UUID:

select (md5(random()::text || clock_timestamp()::text))::uuid;

NoSQL 與 PostgreSQL

PostgreSQL 提供了可選的 HStore key-value store extension, 並且 HStore extension 具有將 key-value store 轉為 JSON 的能力(hstore_to_json function)。

測試 PostgreSQL 是否有支援 hstore(使用 CREATE EXTENSION 語句):
package require tdbc::postgres
tdbc::postgres::connection create db -user postgres -password postgres -port 5432

set statement [db prepare {
     CREATE EXTENSION hstore
}]

$statement foreach row {
 puts $row
}

$statement close
db close
下面是一個使用的範例:
CREATE TABLE products (
  id serial PRIMARY KEY,
  name varchar,
  attributes hstore
);
From here you can insert whatever you want into the attributes column. And then query based on those various keys or values.
INSERT INTO products (name, attributes) VALUES (
 'Geek Love: A Novel',
 'author    => "Katherine Dunn",
  pages     => 368,
  category  => fiction'
);

SELECT name, attributes->'author' as author
FROM products
WHERE attributes->'category' = 'fiction'
The obvious benefit here is flexibility, but where it really shines is being able to leverage various index types. In particular, a GIN or GiST index will index every key and value within the hstore. This way when you filter on something it’ll use the index if it makes sense to the planner within Postgres.

PostgreSQL and JSON

在 PostgreSQL 9.2 (及以後)版本中,查詢結果可以轉換為 JSON data type 後返回。 PostgreSQL 也增加了 PLv8 extension,可以使用 JavaScript 來撰寫 PostgreSQL stored procedure。

That has changed with 9.4, with the introduction of the JSONB data type, which stores JSON data in binary form, such that it is both more compact and more efficient than the textual form. Moreover, the same GIN and GIST indexes that now are able to work so well with HStore data also are able to work well, and quickly, with JSONB data. So you can search for and retrieve text from JSONB documents as easily (or more) as would have been the case with a document database, such as MongoDB.

PostgreSQL provides two native operators -> and ->> to help you query JSON data.
  • The operator -> returns JSON object field by key.
  • The operator ->> returns JSON object field by text.
下面是一個使用的例子:
CREATE TABLE integrations (id UUID, data JSONB);
INSERT INTO integrations VALUES (
  uuid_generate_v4(),
  '{
    "service": "salesforce",
    "id": "AC347D212341XR",
    "email": "craig@citusdata.com",
    "occurred_at": "8/14/16 11:00:00",
    "added": {
      "lead_score": 50
    },
    "updated": {
      "updated_at": "8/14/16 11:00:00"
    }
    }')
下面是一個最簡單的例子:
CREATE TABLE people(
    id serial primary key,
    data jsonb not null
);

INSERT INTO people(data) VALUES ('{
    "name": "Bob",
    "addresses": [
        {
            "street": "Centre",
            "streetnumber": 24,
            "town": "Thornlie",
            "state": "WesternAustralia",
            "country": "Australia"
        },
        {
            "street": "Example",
            "streetnumber": "4/311-313",
            "town": "Auckland",
            "country": "NewZealand"
        }
    ],
    "phonenumbers": [
        {
            "type": "mobile",
            "number": "12345678"
        }
    ]
}');

INSERT INTO people(data) VALUES ('{
  "name": "Fred",
  "phonenumbers": [
    { "type": "mobile", "number": "12345678" }
  ]
}');

INSERT INTO people(data) VALUES ('{
  "name": "John Doe"
}');
下面則是使用 inner join 查詢 phonenumbers 的做法:
select
  p1.id AS person1,
  p2.id AS person2,
  p1.data ->> 'name' AS "p1 name",
  p2.data ->> 'name' AS "p2 name",
  pns1 ->> 'type' AS "type",
  pns1 ->> 'number' AS "number"
from people p1
  inner join people p2
    on (p1.id > p2.id)
  cross join lateral jsonb_array_elements(p1.data -> 'phonenumbers') pns1
  inner join lateral jsonb_array_elements(p2.data -> 'phonenumbers') pns2
    on (pns1 -> 'type' = pns2 -> 'type' AND pns1 -> 'number' = pns2 -> 'number');
The ? operator will tell us if some part of JSON has a top level key:
SELECT *
FROM companies
WHERE data->'company'->'tags' ? 'B2B'
如果要回來的 JSONB 結果比較漂亮,可以使用:
SELECT jsonb_pretty(data)
FROM companies;

PostgreSQL and XML

PostgreSQL 提供了 XML data type and support functions 的功能 (SQL/XML), 並且提供了一定程度的 XPATH 支援(xpath_exists function) 與輸出 XML 文件的能力,因此也可以考慮將 PostgreSQL 作為一個 XML 文件資料庫使用。

下面是一個 PostgreSQL XPath function 處理 XML 字串的例子(要注意例子中在 xpath() 的第三個參數設定了 namespace 的別名 n):
WITH x AS ( SELECT
'<promotions xmlns="http://www.demandware.com/xml/impex/promotion/2008-01-31">
    <campaign campaign-id="2013-1st-semester-jet-giveaways">
        <description>2013 1st Semester Jet Giveaways</description>
        <enabled-flag>true</enabled-flag>
        <start-date>2013-01-01T05:00:00.000Z</start-date>
        <end-date>2013-07-01T04:00:00.000Z</end-date>
        <customer-groups>
            <customer-group group-id="Everyone"/>
        </customer-groups>
    </campaign>
 </promotions>'::xml AS t
)
SELECT xpath('/n:promotions/n:campaign/n:description/text()', t
           , '{{n,http://www.demandware.com/xml/impex/promotion/2008-01-31}}')
FROM   x;

List extensions

如果要列出目前系統上的 PostgreSQL extension name(使用 TDBC):

package require tdbc::postgres
tdbc::postgres::connection create db -user postgres -password postgres -port 5432

set statement [db prepare {
     select extname from pg_extension
}]

$statement foreach row {
 puts $row
}

$statement close
db close

List tables

使用 psql 列出 schema public 下的所有 table:
\dt public.*
You can select the tables from information_schema:
SELECT * FROM information_schema.tables WHERE table_schema = 'public';
或者也可以使用下列的方式:
select * from pg_tables where schemaname='public';

Client

C API (libpq)

The libpq library is the C interface to PostgreSQL. It is a set of library functions that allow client programs to interact with PostgreSQL.

下面是一個使用的範例,例印 PostgreSQL libpq 的版本:
#include <libpq-fe.h>

int main() {

    int lib_ver = PQlibVersion();

    printf("Version of libpq: %d\n", lib_ver);

    return 0;
}
使用下列的方式得到 include/library path:
$ pg_config --includedir
/usr/include/postgresql
$ pg_config --libdir
/usr/lib/postgresql95/lib64
所以可以使用下列的方式編譯:
gcc lib_version.c -I`pg_config --includedir` -L`pg_config --libdir` -lpq -std=c99 -o test

再來是列印 PostgreSQL server 的版本:
#include <stdio.h>
#include <stdlib.h>
#include <libpq-fe.h>

void do_exit(PGconn *conn) {

    PQfinish(conn);
    exit(1);
}

int main() {

    PGconn *conn = PQconnectdb("user=postgres password=postgres dbname=postgres");

    if (PQstatus(conn) == CONNECTION_BAD) {

        fprintf(stderr, "Connection to database failed: %s\n",
            PQerrorMessage(conn));
        do_exit(conn);
    }

    int ver = PQserverVersion(conn);

    printf("Server version: %d\n", ver);

    PQfinish(conn);

    return 0;
}

下面是一個簡單的 query 程式:
#include <stdio.h>
#include <stdlib.h>
#include <libpq-fe.h>

void do_exit(PGconn *conn) {

    PQfinish(conn);
    exit(1);
}

int main() {

    PGconn *conn = PQconnectdb("user=postgres password=postgres dbname=postgres");i

    if (PQstatus(conn) == CONNECTION_BAD) {

        fprintf(stderr, "Connection to database failed: %s\n",
            PQerrorMessage(conn));
        do_exit(conn);
    }

    PGresult *res = PQexec(conn, "SELECT VERSION()");

    if (PQresultStatus(res) != PGRES_TUPLES_OK) {

        printf("No data retrieved\n");
        PQclear(res);
        do_exit(conn);
    }

    printf("%s\n", PQgetvalue(res, 0, 0));

    PQclear(res);
    PQfinish(conn);

    return 0;
}

ODBC (Linux/openSUSE)

下載 PostgreSQL ODBC Driver 編譯並且安裝以後,

unixODBC 需要設定二個檔案:/etc/unixODBC/odbc.ini/etc/unixODBC/odbcinst.ini。 下面則是我目前 PostgreSQL 的設定。

odbcinst.ini:

[PSQL]
Description=PostgreSQL
Driver64=/usr/lib64/psqlodbcw.so
UsageCount=1

odbc.ini:

[PostgreSQL]
Description=PostgreSQL Data Source
Driver=PSQL
Database=postgres
UserName=postgres
Password=postgres
Host=localhost
Port=5432
ReadOnly=No
ShowSystemTables=No

下面就是測試的 Tcl script:

package require tdbc::odbc

set connStr "DSN=PostgreSQL; UID=postgres; PWD=postgres;"
tdbc::odbc::connection create db $connStr

set statement [db prepare {
    SELECT VERSION()
}]

$statement foreach row {
    puts [dict get $row version]
}

$statement close
db close

JDBC

PostgreSQL 提供了 JDBC driver 可以使用。

下面是使用 TDBCJDBC 的範例:
package require tdbc::jdbc

set className    {org.postgresql.Driver}
set url          jdbc:postgresql://localhost:5432/danilo
set username     danilo
set password     danilo

tdbc::jdbc::connection create db $className $url $username $password -readonly 0

set statement [db prepare {select extname, extversion from pg_extension}]
puts "List extension name and version:"
$statement foreach row {
    puts "[dict get $row extname] - [dict get $row extversion]"
}

$statement close

db close

Node.js

我們使用 node-postgres 來連線。

首先建立一個目錄 pg-test,並且在目錄下執行

npm init -y

這會建立一個 package.json 檔案,我們可以對需要修改的部份再進行修改。修改 package.json,加入下列的設定:

  "type": "module",

再來使用 NPM 安裝 node-postgres:

npm install pg --save

建立 index.js,內容如下:

import pg from 'pg';

const config = {
    host: 'localhost',
    user: 'danilo',
    password: 'danilo',
    database: 'danilo',
    port: 5432,
    ssl: false
};

const client = new pg.Client(config);

client.connect(err => {
    if (err) {
        console.log("Connection failed.");
        throw err;
    }
});

const query = 'SELECT VERSION()';

client.query(query)
.then(res => {
   const rows = res.rows;
   console.log(`PostgreSQL version: ${rows[0].version}`);
   client.end();
   process.exit();
}).catch(err => {
   console.log(err);
});

執行的時候使用 node index.js 來執行。

Tcl client side interface

Pgtcl is a Tcl package for client programs to interface with PostgreSQL servers. 建立在 libpq 的基礎之上。

下面是一個最簡單的例子:

package require Pgtcl

set db [pg_connect -conninfo [list host = localhost user = postgres password = postgres dbname = postgres]]

pg_select $db "select version() as versoin" version {
    parray version
}

pg_disconnect $db

和 JDBC 單純的使用 ? 來代表參數不同,Pgtcl/libpq 使用 $1, $2 等來代表要傳遞的參數。


如果要使用共同的資料庫存取介面,建議使用 Tcl 8.6 內建的 TDBC 所提供的 PostgreSQL driver 來與 PostgreSQL server 進行連線。 Pgtcl 只有在單純使用 PostgreSQL 時才需要使用。

要注意的是,TDBC-Postgres 使用 PQprepare 來送出 SQL statement,同時並不指定 type,而是讓 PostgreSQL 來推斷 type, 再使用 PQdescribePrepared 來取得相關的 param 資料。但是 Pgtcl 不支援 PQprepare(只送出 SQL statement 到 server 分析), 所以需要使用 PREPARE statement 才行。

PostgreSQL: Foreign data wrappers

In 2003, a new specification called SQL/MED ("SQL Management of External Data") was added to the SQL standard. It is a standardized way of handling access to remote objects from SQL databases. In 2011, PostgreSQL 9.1 was released with read-only support of this standard, and in 2013 write support was added with PostgreSQL 9.3.

在使用 FDW 的情況下,PostgreSQL 具有存取外部資料源的能力,並且可以作為一個 SQL query engine 使用。 也就是在 FDW 的處理範圍內,PostgreSQL 也有讀取 Hadoop/HBase big data store 的能力(看 FDW 所提供的能力而定)。

PostgreSQL FDW 的 Column-Oriented Wrappers 有二個選擇, 一個是 monetdb_fdw, 一個是 cstore_fdw

monetdb_fdw

使用 monetdb_fdw 來進行 PostgreSQL Foreign_data_wrappers 的測試。

如果不從 PostgreSQL source code 一起編譯,使用下列的方式:
make USE_PGXS=1
如果 MonetDB 的 MAPI lib 與 include 目錄不正確,需要修改 Makefile。

下面是 Makefile 修改的範例:
SHLIB_LINK = -L/usr/local/lib64 -lmapi
PG_CPPFLAGS = -I/usr/local/include/monetdb

再來是安裝:
sudo make USE_PGXS=1 install
需要修改 /var/lib/pgsql/data/postgresql.conf,加入下列的設定:
shared_preload_libraries = 'monetdb_fdw'

要注意的是,重新啟動 PostgreSQL 前要確定 monetdb_fdw 可以正確的尋找到 MonetDB MAPI library 的路徑位置, 否則要設定才行,不然 PostgreSQL 會無法正確啟動

下面是一個例子:
export LD_LIBRARY_PATH=/usr/local/lib64:$LD_LIBRARY_PATH
然後重新啟動 PostgreSQL。


下面是使用 psql 來進行是否可以使用的測試:
CREATE EXTENSION monetdb_fdw;
再來是建立 server object:
CREATE SERVER monetdb_server FOREIGN DATA WRAPPER monetdb_fdw;
然後建立與 MonetDB table 對應的 foreign table。假設 MonetDB 有一個 person 的 table, 我們可以對應過來以後,就可以對這個表格進行操作。

下面是一個例子:
CREATE FOREIGN TABLE person (id integer, name varchar(40)) SERVER monetdb_server
OPTIONS (host 'localhost', port '50000', user 'monetdb', passwd 'monetdb', dbname 'demo', table 'person');
然後就可以查詢 MonetDB person 表格:
SELECT * FROM person;

如果要刪除不用的 FDW 並且完整的移除,要先刪除全部的 Foreign table:
DROP FOREIGN TABLE person;
Then drop the monetdb server and extension:
DROP SERVER monetdb_server;
DROP EXTENSION monetdb_fdw;
Then remove monetdb_fdw from shared_preload_libraries in your postgresql.conf:
#shared_preload_libraries = 'monetdb_fdw'
Finally remove the monetdb_fdw files, into the monetdb_fdw development folder, execute:
sudo make USE_PGXS=1 uninstall