To get started: consult start

Search Introduction¶

Search in Text-Fabric is a template based way of looking for structural patterns in your dataset.

Within Text-Fabric we have the unique possibility to combine the ease of formulating search templates for complicated syntactical patterns with the power of programmatically processing the results.

This notebook will show you how to get up and running.

Easy command¶

Search is as simple as saying (just an example)

results = A.search(template)
A.show(results)

See all ins and outs in the search template docs.

Incantation¶

The ins and outs of installing Text-Fabric, getting the corpus, and initializing a notebook are explained in the start tutorial.

In [1]:

%load_ext autoreload
%autoreload 2

In [2]:

from tf.app import use

In [3]:

A = use("CLARIAH/descartes-tf", hoist=globals())

Locating corpus resources ...

app: ~/text-fabric-data/github/CLARIAH/descartes-tf/app

data: ~/text-fabric-data/github/CLARIAH/descartes-tf/tf/1.1

data: ~/text-fabric-data/github/CLARIAH/descartes-tf/parallels/tf/1.1

Text-Fabric: Text-Fabric API 11.1.2, CLARIAH/descartes-tf/app v3, Search Reference
Data: DESCARTES-TF, Character table, Feature docs

Node types

Name	# of nodes	# slots/node	% coverage
volume	8	85241.88	100
letter	725	940.60	100
page	2884	236.45	100
postscriptum	56	46.79	0
opener	545	1.97	0
closer	541	13.10	1
address	86	15.22	0
head	725	23.37	2
p	8438	80.82	100
sentence	13074	50.14	96
hi	5972	4.63	4
formula	6200	1.21	1
figure	319	1.00	0
word	681935	1.00	100

Sets: no custom sets
Features:

Similar Sentences

sim

int

similarity between sentences based on the Levenshtein ratio

Descartes = Descartes, all letters

alt_date

str

alternative date of a letter

alt_id

str

alternative ids of a letter, comma separated

cert

str

certainty of something

date

str

date of a letter

id

str

id of a letter

intermediary

str

person involved in the transmission of the letter from sender to receiver

isitalic

str

whether the word is in italic

ismargin

str

whether the word is in the margin

issub

str

whether the word is in subscript

issup

str

whether the word is in supscript

language

str

language of a letter

level

str

level of a paragraph when it acts like a heading

n

int

number of whatever element

notation

str

notation method of a formula

otype

str

punc

str

nonword chars after a word

recipient

str

recipient of a letter

recipientloc

str

location from where a letter was received

resp

str

person responsible for something

sender

str

sender of a letter

senderloc

str

location from where a letter was sent

tex

str

unformatted TeX code of a formula, without the `$`

trans

str

transcription of a word

typ

str

kind of a node; "empty"; "formula", "head", "symbol", "illustration"

url

str

url of a graphic node

oslots

none

Text-Fabric API: names N F E L T S C TF directly usable

data: ~/text-fabric-data/github/CLARIAH/descartes-tf/source/illustrations

Found 5 symbols

Found 310 illustrations

Basic search command¶

We start with the most simple form of issuing a query. Let's look for the 16th sentence of the paragraphs that have that many sentences.

Note that sentences are numbered within paragraphs and that the sentence number is in feature n.

In [4]:

template = """
sentence n=16
"""

results = A.search(template)

  0.01s 10 results

We see the amount of results, but how do we get the results?

In [5]:

results

Out[5]:

[(709049,),
 (709186,),
 (710254,),
 (712431,),
 (713741,),
 (716957,),
 (717009,),
 (717350,),
 (719832,),
 (720490,)]

Nice try. These are indeed the results, but they are just the nodes, i.e. meaningless numbers (to us).

We get more flesh and blood by displaying the results.

In [6]:

A.table(results)

n	p	sentence
1	1 1027:3	Ce n'est pas que je ne l'aime et que je ne le tienne pour un homme tout plein d'honneur et de bonté; mais parce que je ne connais que deux personnes, avec qui il ait jamais eu quelque chose à démêler, qui sont M. Mydorge et M. Morin, et qu'il se plaint de tous les deux, je ne saurais que je ne juge qu'il tient quelque chose de cette humeur, où il faut dire qu'il est bien malheureux.
2	1 1032:4	Quâ tamen in re non judico te satis prudenter cavere tuis rebus: quid enim si de istius manuscripti fide dubitatur? nunquid tutius esset testes adhibere vel tabulis publicis confirmare? Sed profecto, ut verum loquar, istae divitiae, quae fures timent et tantâ cum sollicitudine debent asservari, miserum te reddunt potius quàm beatum; nec, si mihi credis, te pigebit illa amittere simul cum morbo.
3	1 1116:3	Opinor autem quod, sicuti apud Poetam consessus Didonianus, conticebunt omnes intentique ora tenebunt. Precor autem te et obtestor ut eodem tenore caetera quae in manibus habes prosequaris et aliquando proferas, meque subinde epistolio tuo bees.
4	3 3174:23	Je m'étonne aussi de ce que, nonobstant que j'aie clairement démontré tout ce que j'ai dit devoir être corrigé en sa règle, et qu'il n'aît donné aucune raison à l'encontre, il ne laisse pas de dire que j'y ai mal réussi, au lieu de quoi je me persuade qu'il m'en devrait remercier; et même il ajoute que j'ai failli pour avoir dit qu'il fallait donner deux noms à la ligne qu'il nomme B etc., ce qui ne réussit, dit-il, qu'aux questions qui sont aisées, au lieu qu'il devrait dire que c'est donc lui-même qui avait failli, à cause que j'ai suivi en cela son texte de mot à mot, ainsi que j'ai dû faire pour le corriger.
5	3 3220:3	Je suis, Monsieur, Votre très obéissant et très obligé serviteur, DESCARTES. De Leyde le lundi au soir [12 décembre 1639]. Monsieur,
6	6 6391:3	Maer niet-te-min dewijl al de Werelt oordeelt, dat hy de voornaemste autheur is vande lasteringhen die in het ghemelt fameux boeck teghens my worden ghevonden, versoeck ick U. Ed.
7	6 6396:3	Je vous assure qu'elles ne me touchent guère, et ne m'ont point emmaigri, comme Voetius, à qui on dit qu'elles ont ôté treize livres de chair, mais non pas de graisse, à cause qu'il n'en eut jamais tant.
8	6 6425:9	Quin etiam nullum ea de re scriptum peculiare composui, sed obiter tantum in epistola in qua de Patre quodam Societatis conquerebar, et quam tunc commodam sub praelo habebam, paucas de illo paginas inserui.
9	7 7601:6	Lorsque l'écriture sainte parle en divers endroits de la multitude innombrable des Anges, elle confirme entièrement cette opinion: car nous jugeons que les moindres Anges sont incomparablement plus parfaits que les hommes.
10	8 8650:3	Cependant je puis vous assurer que cette Princesse, qui n'estime rien au monde que la vérité et la vertu, fait un grand jugement de vous pour l'amour de l'une et de l'autre.

In front of each result you see the volume number, letter id, and paragraph number of the result.

Figures¶

Let's look for all sentences with an illustration in it.

In [7]:

query = """
sentence
  figure
"""

In [8]:

results = A.search(query)

  0.00s 319 results

In [9]:

A.table(results, end=3)

n	p	sentence
1	1 1001:4	Unum autem est, quod, opinor, non satis meditate scripsisti: nempe omnes saltus in unicâ voce fieri per consonantias exactas.
2	1 1002:3	Atque hac arte quadruplo plures quaestiones et longe difficiliores solvi poterunt, quàm communi Algebrâ; 13 enim diversa genera aequationum cubicarum numero, qualia tantùm sunt tria aequationum communium: nempe inter 1 et O + ON, vel O − ON, vel denique ON − O . Aliud est quod jam quaero de radicibus simul ex pluribus variis nominibus compositis extrahendis; quod si reperero, ut spero, scientiam illam plane digeram in ordinem, si desidiam innatam possim vincere, et fata liberam vitam indulgeant.
3	1 1002:3	Atque hac arte quadruplo plures quaestiones et longe difficiliores solvi poterunt, quàm communi Algebrâ; 13 enim diversa genera aequationum cubicarum numero, qualia tantùm sunt tria aequationum communium: nempe inter 1 et O + ON, vel O − ON, vel denique ON − O . Aliud est quod jam quaero de radicibus simul ex pluribus variis nominibus compositis extrahendis; quod si reperero, ut spero, scientiam illam plane digeram in ordinem, si desidiam innatam possim vincere, et fata liberam vitam indulgeant.

Note that there are two columns: 1 for the sentence node in each result, and 2 for the figure node in each result.

The display of the second column does not add much here, so we can skip it:

In [10]:

A.table(results, end=3, skipCols={2})

n	p	sentence
1	1 1001:4	Unum autem est, quod, opinor, non satis meditate scripsisti: nempe omnes saltus in unicâ voce fieri per consonantias exactas.
2	1 1002:3	Atque hac arte quadruplo plures quaestiones et longe difficiliores solvi poterunt, quàm communi Algebrâ; 13 enim diversa genera aequationum cubicarum numero, qualia tantùm sunt tria aequationum communium: nempe inter 1 et O + ON, vel O − ON, vel denique ON − O . Aliud est quod jam quaero de radicibus simul ex pluribus variis nominibus compositis extrahendis; quod si reperero, ut spero, scientiam illam plane digeram in ordinem, si desidiam innatam possim vincere, et fata liberam vitam indulgeant.
3	1 1002:3	Atque hac arte quadruplo plures quaestiones et longe difficiliores solvi poterunt, quàm communi Algebrâ; 13 enim diversa genera aequationum cubicarum numero, qualia tantùm sunt tria aequationum communium: nempe inter 1 et O + ON, vel O − ON, vel denique ON − O . Aliud est quod jam quaero de radicibus simul ex pluribus variis nominibus compositis extrahendis; quod si reperero, ut spero, scientiam illam plane digeram in ordinem, si desidiam innatam possim vincere, et fata liberam vitam indulgeant.

We can make the display richer: instead of a plain table, we can unfold the sentences in the results. We only show the second result:

In [11]:

A.show(results, start=2, end=2)

result 2

1 1002:3

sentence 4

Atque

hac

arte

quadruplo

plures

quaestiones

et

longe

difficiliores

solvi

poterunt,

quàm

communi

Algebrâ;

13

enim

diversa

genera

aequationum

cubicarum

numero,

qualia

tantùm

sunt

tria

aequationum

communium:

nempe

inter

formula

1

figure

et

formula

O

figure

+ ON

,

vel

formula

O

figure

− ON

,

vel

denique

formula

ON − O

figure

.

Aliud

est

quod

jam

quaero

de

radi

cibus

simul

ex

pluribus

variis

nominibus

compositis

extrahendis;

quod

si

reperero,

ut

spero,

scientiam

illam

plane

digeram

in

ordinem,

si

desidiam

innatam

possim

vincere,

et

fata

liberam

vitam

indulgeant.

Formulas¶

Now let's look for formulas that have a square root in them.

Note that in TeX a square root is written as \sqrt.

The TeX source of a formula is contained in the tex feature of a formula node, provided the formula is written in TeX. Not all formulas are written in TeX.

In [12]:

query = """
sentence
  formula tex~sqrt
"""

In [13]:

results = A.search(query)

  0.00s 54 results

In [14]:

A.table(results, end=3, skipCols={2})

n	p	sentence
1	2 2152:4	Or par cette seule équation de la page 326, à savoir: y ${\rm m} - {{\displaystyle\strut {\rm n}\over \displaystyle\strut {\rm z}}}{\rm x} + \sqrt{{\rm mm} + {\rm ox} - {{\displaystyle\strut {\rm p}\over \displaystyle\strut {\rm m}}}{\rm xx}}$ ,$ en changeant seulement les marques + et -, ou supposant quelques termes pour nuls, je comprends toutes celles qui peuvent se rapporter à quelque lieu plan ou solide.
2	3 3174:14	Je cherche la tangente FE ou CB parallèle au diamètre AK, posant que la propriété de cette courbe est telle que, menant FG à angles droits sur AH, l'agrégat des cubes de FG et AG est égal au parallélipipède des mêmes FG et AG, et d'une autre ligne donnée qui est double d' AH. Et je fais AG = x, GF = y et le double d' AH = n d'où j'ai x 3 + y 3 = xyn Puis je fais AE = v de façon que EG est x − v et parce que l'angle EFG est de 45 degrés, GF est aussi x − v ce que je substitue, au lieu d' y, en l'équation précédente, et au lieu de y 3 je substitue son cube, qui est x 3 − 3 vxx + 3 vvx − v 3 si bien que j'ai pour mon équation 2 x 3 − 3 vxx + 3 vvx − v 3 = nxx − nvx ce que je compare avec xx − 2 ex + ee = 0 multiplié par 2 x − 2 f = 0 et j'ai 2 x 3 − 4 exx + 2 eex − 2 fxx + 4 efx − 2 eef = 0 de même forme que 2 x 3 − 3 vxx + 3 vvx − v 3 = 0 − nxx + nvx. Et les termes multipliés par xx me donnent 2 f = 3 v + n − 4 e Puis les termes multipliés par x me donnent 6 ev + 2 en − 6 ee = 3 vv + nv ou bien $vv = - {{1\over 3}}nv + 2ev + {{2\over 3}}ne - 2ee$ c'est-à-dire à cause que e est égal à x, que v est $x - {{1\over 6}}n \pm \sqrt{{{1\over 36}}nn + {{1\over 3}}nx - xx}$ . Ce qui déterminerait entièrement la tangente cherchée, si la quantité x était connue; mais parce qu'elle ne l'est pas, il faut poursuivre en cette sorte.
3	3 3174:15	Puisque y est égal à x − v et que v vient d'être trouvé, nous avons aussi $y = {{1\over 6}}n \pm \sqrt{{{1\over 36}}nn + {{1\over 3}}nx - xx}$ ce qui étant substitué au lieu d' y, et son cube au lieu d' y 3 en la première équation, on trouve en la démêlant qu'elle se réduit à ces termes: $x^{4}.. - {{1\over 9}}n^{3}x + {{1\over 54}}n^{4} = 0$ . Et par la règle qui est en ma Géométrie, page 383, j'écris en leur place: $z^{6}. - {{2\over 27}}n^{4}zz - {{1\over 81}}n^{6} = 0$ . Puis (par la page 381) je trouve la valeur de zz, qui est ${{1\over 3}}nn$ et $z = n\sqrt{{{1\over 3}}}$ Au moyen de quoi (par la page 385), je divise l'équation $x^{4} - {{1\over 9}}n^{3}x + {{1\over 54}}n^{4} = 0$ en deux autres qui sont $xx - nx\sqrt{{{1\over 3}} + {{1\over 6}}nn} - {\displaystyle\strut {nn}\over \displaystyle\strut {6\sqrt{ 3}}} = 0$ et $xx + nx\sqrt{{{1\over 3}} + {{1\over 6}}nn} + {\displaystyle\strut {nn}\over \displaystyle\strut {6\sqrt{ 3}}} = 0$ . Et par la première de ces deux équations, je connais la valeur d' x, qui est $x = n\sqrt{{{1\over 12}}} \pm \sqrt{{\displaystyle\strut {nn}\over \displaystyle\strut {6\sqrt{3}}} - {{1\over 12}}nn}$ . Enfin, à cause que, cherchant en même façon la ligne AB par la tangente CB, il vient une équation toute semblable, on apprend de là que la ligne AG est $n\sqrt{{{1\over 12}}} + \sqrt{{\displaystyle\strut {nn}\over \displaystyle\strut {6\sqrt{3}}} - {{1\over 12}}nn}$ et que AD est $n\sqrt{{{1\over 12}}} - \sqrt{{\displaystyle\strut {nn}\over \displaystyle\strut {6\sqrt{3}}} - {{1\over 12}}nn}$ et par conséquent que DG est $\sqrt{{\displaystyle\strut {2nn}\over \displaystyle\strut {3\sqrt{3}}} - {{1\over 3}}nn}$ et que CF est $\sqrt{{\displaystyle\strut {4nn}\over \displaystyle\strut {3\sqrt{3}}} - {{2\over 3}}nn}$ . Ce qui est la plus grande largeur de la feuille qu'on demandait, en sorte que, si la ligne n est 9, CF sera $\sqrt{36\sqrt{3} - 54}$ et si n est 3, CF sera $\sqrt{4\sqrt{3} - 6}$ et ainsi des autres.

In [15]:

A.show(results, end=1)

result 1

2 2152:4

sentence 9

Or

par

cette

seule

équation

de

la

page

326,

à

savoir:

formula

y

formula

figure

formula TeX

tex={\rm m} - {{\displaystyle\strut {\rm n}\over \displaystyle\strut {\rm z}}}{\rm x} + \sqrt{{\rm mm} + {\rm ox} - {{\displaystyle\strut {\rm p}\over \displaystyle\strut {\rm m}}}{\rm xx}}

${\rm m} - {{\displaystyle\strut {\rm n}\over \displaystyle\strut {\rm z}}}{\rm x} + \sqrt{{\rm mm} + {\rm ox} - {{\displaystyle\strut {\rm p}\over \displaystyle\strut {\rm m}}}{\rm xx}}$

,$

en

changeant

seulement

les

marques +

et -,

ou

supposant

quelques

termes

pour

nuls,

je

comprends

toutes

celles

qui

peuvent

se

rapporter

à

quelque

lieu

plan

ou

solide.

We can get rid of the TeX codes.

We see them because our query mentioned the feature tex, but we can turn that off (showing the 3rd result only)

In [16]:

A.show(results, end=1, condensed=True, queryFeatures=False)

sentence 1

2 2152:4

sentence 9

Or

par

cette

seule

équation

de

la

page

326,

à

savoir:

formula

y

formula

figure

formula TeX

${\rm m} - {{\displaystyle\strut {\rm n}\over \displaystyle\strut {\rm z}}}{\rm x} + \sqrt{{\rm mm} + {\rm ox} - {{\displaystyle\strut {\rm p}\over \displaystyle\strut {\rm m}}}{\rm xx}}$

,$

en

changeant

seulement

les

marques +

et -,

ou

supposant

quelques

termes

pour

nuls,

je

comprends

toutes

celles

qui

peuvent

se

rapporter

à

quelque

lieu

plan

ou

solide.

Formulas without TeX¶

We gather the formulas not written in TeX:

In [17]:

query = """
formula notation#TeX
"""

results = A.search(query)

  0.01s 5981 results

The majority is not written in TeX, let's sample a few:

In [18]:

from random import seed, sample

seed(42)

selected = sample(results, 20)

A.table(selected)

n	p	formula
1	7 7538:6	IN
2	2 2122:12	G
3	1 1020:7	ZZ
4	2 2164:25	GR
5	2 2159:5	g
6	2 2156:9	C in A + C in E − Aq − A in E bis − Eq
7	2 2126:16	AO
8	1 1f1b:3	DE
9	7 7547:12	S
10	4 4303:13	BG
11	1 1063:9	B
12	6 6408:5	x
13	3 3198:15	FL
14	1 1020:12	Q
15	1 1020:10	LD
16	1 1066:7	B
17	2 2156:6	DN
18	2 2156:15	EO
19	4 4289:9	AC
20	6 6467:5	g

These formulas are all so simple that TeX was not needed to display them.

Let's see the first 2 of them in context:

In [19]:

A.show(selected[0:2], condensed=True)

sentence 1

2 2122:12

sentence 1

Au

reste,

il

faut

remarquer

que

ce

n'

est

point

la

poulie

qui

cause

cette

force,

mais

seulement

le

redoublement

de

la

corde:

car

si

on

attache

encore

une

poulie

vers

formula

A

,

par

laquelle

on

passe

la

corde

formula

ABCH

,

il

ne

faudra

pas

moins

de

force

pour

tirer

formula

H

vers

formula

K

,

et

ainsi

lever

le

poids

formula

E

,

qu'

il

en

fallait

auparavant

pour

tirer

formula

C

vers

formula

G

.

Mais,

si

à

ces

deux

poulies

on

en

ajoute

encore

une

autre

vers

formula

D

,

à

laquelle

on

attache

le

poids

et

dans

laquelle

on

passe

la

corde

tout

de

même

qu'

en

la

première,

alors

on

n'

aura

pas

besoin

de

plus

de

force

pour

lever

ce

poids

de

200

livres,

que

pour

en

lever

un

de

50

sans

poulie,

à

cause

qu'

en

tirant

4

pieds

de

la

corde

on

ne

l'

élèvera

que

d'

un

pied.

sentence 2

7 7538:6

sentence 5

Il

en

sera

de

même

de

tous

les

points

éloignés

également

de

part

et

d'

autre

du

point

formula

N

.

Enfin,

par

les

lignes

formula

AB

et

formula

IN

,

soit

mené

un

plan

formula

ABHG

,

qui

coupera

le

secteur

formula

AH

en

deux

autres

secteurs

égaux,

et

formera

le

rectangle

formula

ABHG

,

duquel

les

côtés

formula

AG

et

formula

BH

couperont

aussi

en

deux

également

les

secteurs

de

cercles

formula

ACGE

et

formula

BDHF

,

et

par

les

points

formula

G

,

formula

N

,

formula

H

soient

menées

des

lignes

droites

qui

touchent

les

arcs

formula

CE

,

formula

LM

,

formula

DF

,

lesquelles

touchantes

soient

formula

ZG 4

,

formula

XNY

,

et

formula

6 H 7

,

qui

seront

perpendiculaires

aux

demi-

diamètres

formula

AG

,

formula

IN

,

formula

BH

.

Contents¶

start intro and highlights
search turbo charge your hand-coding with search templates
compute sink down a level and compute it yourself
exportExcel make tailor-made spreadsheets out of your results

Advanced

similar sentences find similar sentences

CC-BY Dirk Roorda