For event-stream RNNs, history inputs x_t ∈ R²⁰ consist of a one-hot encoding of the action type and the time difference. For session-stream RNNs, history inputs s_t ∈ R²³ represent sessions with binary indicators which action types occurred, the time difference to the previous session and the characteristics described in Sec. 3.2. Time differences and, in case of session-stream RNNs, the total session event counts are logarithmized.

Some examples of sequence classification problems include:

DNA Sequence Classification
Given a DNA sequence of A, C, G, and T values, predict whether the sequence is for a coding or non-coding region.

Anomaly Detection
Given a sequence of observations, predict whether the sequence is anomalous or not.

Sentiment Analysis .
iven a sequence of text such as a review or a tweet, predict whether the sentiment of the text is positive or negative

We can summarize the 3 key benefits of LSTMs as:

1. Overcomes the technical problems of training an RNN, namely vanishing and exploding gradients.

2. Possesses memory to overcome the issues of long-term temporal dependency with input sequences

3. Process input sequences and output sequences time step by time step, allowing variable length inputs and outputs

More precisely, firms following a customer-centric business approach need to know how their clientele will behave on different future time scales and levels of behavioral complexity (Gupta & Lehmann, 2005; Fader, 2020):

- What are they going to do in the immediate future and when do they make their next transaction with the focal company, if any?

- Are some of them at risk of stopping doing business with the firm?

- How exactly do seasonality and other time-based events influence the propensity of customers to buy?

We highlight our model’s flexibility and performance on two groups of valuable customers: those who keep making more and more transactions with the firm (denoted as ”opportunity” customers) and those who are at risk of defection. We demonstrate that the model also excels at automatically capturing seasonal trends in customer activity, such as the shopping period leading up to the December holidays.

)

def plot_predictions(train_data = X_train, train_labels = y_train, test_data = X_test, test_labels = y_test, predictions = y_pred): 
   """ Plots training data, testing_data """ 
   plt.figure(figsize=(10, 7)) 
   plt.scatter(train_data, train_labels, c="blue", label='Training data') 
   plt.scatter(test_data, test_labels, c="green", label="Testing data") 
   plt.scatter(test_data, predictions, c="red", label="Predictions") 
   plt.legend();

C

Was ist Mikroprogrammierung?

Durch Einsatz von Matrix-Speichertechnologie ist es möglich Steuersignalkombinationen in je einer Zeile dieser Speichermatrix abzulegen. Somit können Zeile für Zeile Maschinenzustande auf dem Prozessor hinterlegt werden. Das sogenannte Mikroprogramm. Die interne Logik ist eher zufällig optimiert. Daher der Begriff "Random Logic".

Zellen einer Speichermatrix werden je Steuersignale zugeordnet.

Warum wird DMA oft Interrupts vorgezogen?

Die Lösung dieser Probleme wäre ein direkter Speicherzugriff eines Devices, da so der Prozessor komplett umgangen werden kann.

Beim Forwarding wird ein Ergebniss eines Befehls direkt dem Folgebefehl zur Verfügung gestellt

Das Scoreboard

Ein Scoreboard ist eine zusätzliche Steuereinheit, welche die Verantwortung für das Befehlsaussenden und das Erkennen von Konflikten trägt. Das Scoreboard wählt aus einem Pool potentiel ausführbarer Befehle (Instruction Window) einen Satz von Befehlen aus. Ein Register wird als ungültig markiert, wenn die Dekodiereinheit erkannt hat, dass ein Befehl sein Ergebnis in dieses Register schreiben möchte. So wird verhindert, dass ein anderer Befehl dieses Register liest, solange es ungültig ist. Nachteil ist, daß keine Ressourcen- und auch keine Datenabhängigkeiten auftreten dürfen. Eine bessere Variante ist die Tomasulo-Methode, welche eine Auflösung von WAR- und WAW-Konflikten ermöglicht.

Zusammenfassend gesagt, besteht ein Scoreboard aus einer Vielzahl von Zählern (wie oft wurde gelesen und geschrieben) für die verwendeten Register und Funktionseinheiten. Ein Scoreboard, welches auch WAR und WAW Konflikte lösen kann, wäre zwar extrem aufwendig aber möglich.

Wann können Befehle mit der Scoreboard Technik nicht ausgesandt werden?

1. Wenn ein aktueller Operand geschrieben wird (RAW)
2. Wenn das Ergebnisregister gelesen wird (WAR)
3. Wenn das Ergebnisregister geschrieben wird (WAW)

WAR und WAW sind weniger schwerwiegend als RAW Abhängigkeiten, da diese nur Ressourcenkonflikte darstellen. RAW Konflikte logische Abhängigkeiten und können nicht so einfach aufgelöst werden. Mit der Scoreboard Methode muss gewartet werden, bis der abhängige Vorgängerbefehl sein Ergebnis geschrieben hat. Erst dann kann der Folgebefehl das benötigte Datum lesen und mit der Abarbeitung fortsetzen. Lösen lassen sich alle Probleme mit Out-Of-Order Execution und Register Renaming Technik. Dazu muss das Scoreboard erweitert werden.

Die Tomasulo-Methode

Hauptidee sind hier sogenannte Reservation Stations, welche eine Art Zwischenpuffer für Operanden darstellen. Die Reservation Stations besitzen eine eindeutige ID, welche jedem Befehl mitgegeben wird. So kann die richtige Reihenfolge beibehalten werden. Wird ein Befehl ausgeführt, arbeitet dieser nicht auf den eigentlichen Registern, sondern auf den assoziierten Reservation Stations, was das Prinzip des schon erwähnten Register Renamings ist. Über einen Common Data Bus werden die Ergebnisse zu allen beteiligten Einheiten gebroadcaset. Reservation Stations erkennen Hazards und können selbst entscheiden, wann sie den dazugehörigen Befehl ausführen. Nämlich erst dann, wenn alle Operanden vorliegen. Um controll stalls komplett vermeiden zu können, wird die Tomasulo-Methode mit der spekulativen Befehlsausführung kombiniert.

Wie arbeitet die spekulative Befehlsausführung?

Sprungziel-Befehle werden schon ausgeführt, wenn das Ergebnis des Sprungtests noch gar nicht vorliegt. Somit muss es die Möglichkeit geben, bei falscher Vorhersage alle Änderungen zu Verwerfen (Rollback-Fähigkeit). Die Hauptsächliche Hardware-Erweiterung liegt in der Aufspaltung der Ergebnisschreibphase in eine Bereitstellungsphase mit Zwischenspeicherung im Reorder Buffer und eine Phase in der ein Befehl commited, d.h. gänzlich der Ausführung übergeben wird. Ein commit bedeutet, daß eine eventuelle Sprungvorhersage richtig war! Somit stellt dies eine Kombination von out-of-order-execution via Tomasulo mit einem erzwungenen in-order-commit dar.

Der Reorder-Buffer stellt in der Welt des Tomasulo weitere Register zur Verfügung, welche auch die Funktion von Store Buffern übernehmen könnten, so daß dieser als Teil des Tomasulo nicht direkt mehr erkennbar wäre. (Store Buffer enthalten Informationen darüber, welche Reservation Stations, welches Ergebnis erwartet)

Aus welchen Feldern setzt sich ein Reorder-Buffer-Eintrag zusammen?

• Befehlstyp (Branch, Store oder Registeroperaton)
• Zielfeld (Registernummer oder Speicheradresse)
• Datenfeld (Ergebnis der Operation)

Die Phasen des Tomasulo

Fetch und Decode	Holt Instruktionen in einen Befehlscache. Die Decode-Unit holt sich einen Teil der Befehle und versucht mehrere gleichzeitig zu decodieren (In-Order). Dabei wird versucht Sprünge vorherzusagen. Übergibt dekodierten Befehle in der richtigen Reihenfolge an die Dispatch (Issue) Unit.
Dispatch / Issue	Holt dekodierte Befehle aus Befehlspuffer und übergibt sie In-Order an die Reservation Stations der Execute Units, sobald alle Operanden verfügbar sind (Issue). Solange im Reorder Buffer Platz ist, reserviert sie ein Feld für diesen Befehl mit Hilfe des Tags und gibt dieses an die RS weiter. Wenn nicht wartet sie, bis ein Platz frei wird. (Dispatch Phase)
Execution	Führt Befehle auf den Schattenregistern aus, um Data Hazards zu meiden. Befehle werden in den Reorder-Buffer geschrieben und Out-Of-Order ausgeführt, solange es keine RAW-Konflikte gibt. Nach Beenden eines Befehls wird Ergebnis an alle RS gebroadcastet, so dass wartende Befehle fortfahren können. (Write result)
Commit	Die Commit/Completion oder Retire Einheit schreibt die Ergebnisse aus den Renaming Registern in die echten ISA Register zurück, nachdem sie geprüft hat, ob abhängige vorangehende Befehle ihre Ergebnisse geliefert haben und keine falsche Sprungvorhersage eingetreten war.

Erklären Sie die Phasen Issue, Execute, Write Result und Commit!

Die Issue-Phase entnimmt einen Befehl aus dem Befehlsbuffer und versucht diesen an eine freie Reservation Station zu übergeben. Dabei reserviert sie einen Platz im Reorder-Bu

...

RISC Arithmetic Operators

simple form: one destination, two sources

example: addition

add a, b, c // a = b + c

[RISC] Arithmetic instructions use register operands

[RISC-V] 32 general purpose registers x0 to x31

[RISC] [Registers] Used for frequently accessed data

Memory operands

• Main memory used for composite data
  • Arrays, structures, dynamic data
• For arithmetic operations
  • Load values from memory into registers
  • Store result from register to memory
• Memory is byte addressed
  • Each address identifies 8-bit byte

RISC-V is little endian §Least-significant byte at least address of a word §Big endian: most-significant byte at least address

RISC-V does not require word alignment in memory

[RISC] Operating on memory data requires loads and stores ➜ More instructions to execute

[RISC-V] Compiler must use registers for variables as much as possible

Immediate operands

• Constant data specified in instruction:

addi x22, x22, 4

Make the common case fast:

• Small constants are common
• Immediate operand avoids load instruction

Sign extension

• same number, more bits
• Replicate sign bit to the left
• RISC-V:
  • lb (load byte): sign-extend loaded byte (byte interpreted as 2's-complement)
  • lbu (load byte unsigned): zero-extend loaded byte
  • addi (add immediate): sign-extend 12-bit immediate (immediate interpreted as 2's complement)

RISC-V instructions:

• Encoded as 32-bit instruction words
• Small number of formats encoding operation code (opcode), register numbers, …
  ➜ 4 core instruction formats (R, I, S, U)

Keras provides flexibility to decouple the resetting of internal state from updates to network weights by defining an LSTM layer as stateful. This can be done by setting the stateful argument on the LSTM layer to True

To achieve better explainability, in many e-commerce applications consumer behavior can be viewed on the level of sessions.

These variable inputs enter the model through dedicated input layers at the top of the model’s architecture and are combined by simply concatenating them into a single long vector

Customer relationship management is a popular and strategic topic in marketing and quality of service. The availability of big transactions data as well as computing systems have provided a great opportunity to model and predict customer behaviour. However, there is a lack of modern modelling and analytical methods to perform analysis on such data. Deep learning techniques can assist marketing decision makers to provide more reliable and practical marketing strategic plans. In this paper, we propose a customer behaviour prediction model using recurrent neural networks (RNNs) based on the client loyalty number (CLN), recency, frequency, and monetary (RFM) variables. The experiment results show that RNNs can predict RFM values of customers efficiently. This model can be later used in recommender systems for exclusive promotional offers and loyalty programs management.

For session-stream RNNs, history inputs s_t ∈ R²³ represent sessions with binary indicators which action types occurred, the time difference to the previous session and the characteristics described in Sec. 3.2.

We can summarize the 3 key benefits of LSTMs as:

3. Process input sequences and output sequences time step by time step, allowing variable length inputs and outputs

Technically, in time series forecasting terminology the current time ( t ) and future times ( t+1 , t+n ) are forecast times and past observations ( t-1 , t-n ) are used to make forecasts. We can see how positive and negative shifts can be used to create a new DataFrame from a time series with sequences of input and output patterns for a supervised learning problem

lifelong deep neural networks (L-DNN),

Marketing academics have leveraged the clickstream data of a single website to model the evolution of website-visit behavior (Moe & Fader, 2004a) and purchase-conversion behavior (Moe & Fader, 2004b).

In addition, we show that RNNs help us link individual actions directly to predictions in an intuitive way. This allows us to understand the implications consumer actions have on predicted probabilities over the course of the consumer’s history.

RFM variables are sufficient statistics for customer behaviour modelling and are a mainstay of the industry because of their ease of implementation in practice

A response model relying exclusively on seniority, recency, and frequency would not be able to distinguish between customers who have similar features but different behavioral sequence

Most retail/e-retail brands, plan their short-term inventory (2-4 weeks ahead) based on consumer purchase pattern. Also, certain sales and marketing strategies like Offer Personalization and personalized item recommendations are made leveraging results of consumer purchase predictions for the near future.

assert 0.1 + 0.1 + 0.1 == 0.3, "Usual way to compare does not always work with floats!"

loss function:

• In case of categorical_crossentropy the labels have to be one-hot encoded

Sheil, Rana, and Reilly (2018) take this one step further by allowing the neural network to derive its own internal representation of transaction histories.